
我们在应用重定向中使用增量指标已有三年了,我们很自豪能够为所有客户提供免费的持续提升测试,从而透明地了解活动的真实价值。我们花了大量的研究才走到这一步,而且我们一直在逐步编译一个有用的资源库。我们想分享一些我们在开发自定义方法时一直在内部参考的关键文档。祝您阅读愉快!
增量简介
塞缪尔·哈里斯,Adjust
Natraj Ramachandran,媒体数学
概述不同增量测量方法的资源
和谷歌一起思考
Garrett A. Johnson、Randall A. Lewis 和 Elmar I. Nubbemeyer《市场研究杂志》,卷:54 期:6,页数:867-884
摘要:“要衡量广告的效果,营销人员必须知道如果消费者没有看到广告,他们会如何表现。作者开发了一种他们称之为 “幽灵广告” 的方法,该方法通过在随机实验中识别曝光消费者的对照组对应组来促进这种比较。作者表明,相对于公共服务公告和意向治疗A/B测试,虚假广告可以降低实验成本,提高测量精度,提供相关的战略基准,并与实时优化广告投放的现代广告平台配合使用。作者还描述了一种变体,即 “预测幽灵广告” 方法,该方法与在线展示广告平台兼容;他们的实施记录每天超过1亿个预测的幽灵广告。作者通过在线零售商的展示重定向活动演示了该方法。他们提供了新的证据表明重定向可以奏效:广告使网站访问量提高了17.2%,购买量提高了10.5%。与意向治疗和公共服务公告实验相比,广告商可以同样精确地衡量广告提升,同时支出至少减少一个数量级。”
在线展示广告效果漏斗和结转率:对预测的幽灵广告实验的荟萃研究
加勒特·A·约翰逊、兰德尔·A·刘易斯和埃尔玛·努贝迈耶
摘要:“我们对谷歌展示广告网络上的432项在线展示广告实地实验进行了荟萃研究。这些实验涉及来自不同行业的431位广告商,平均包括400万用户,持续20天。这些实验采用了预测幽灵广告实验方法。在实验中,我们发现网站访问量中位数提高了16%,转化率中位数提高了8%。我们将消费者沿着购买流程(营销渠道)向下移动时的基准流失与广告对消费者购买过程的增量影响(“广告效果漏斗”)联系起来。我们发现,与基准访客相比,增量网站访问者转化的可能性较小:网站访问者增加10%意味着转化率增加5-7%。然后,我们会研究广告活动的结转效应,以确定活动中的提升是在活动结束后继续进行的,还是只会导致用户比原本更早地采取行动。我们发现,大多数活动在活动结束后的四周内都有适度的正结转率,与活动内相比,访客又增长了6%,平均访问量增长了16%。”
使用基于时间的测试了解搜索活动的增量
汤姆·布莱克、克里斯·诺斯科、史蒂芬·塔德利斯
摘要:“互联网广告一直是近年来增长最快的广告渠道,付费搜索广告占该收入的大部分。我们提供了在eBay进行的一系列大规模实地实验的结果,这些实验旨在衡量付费搜索广告的因果效应。由于搜索点击量和购买行为是相互关联的,因此我们表明付费搜索的回报只是传统非实验估计值的一小部分。举一个极端的例子,我们表明品牌关键词广告没有可衡量的短期收益。对于非品牌关键词,我们发现新用户和不经常使用的用户会受到广告的积极影响,但购买行为不受广告影响的更频繁的用户占广告支出的大部分,因此平均回报为负数。”
提升模型
美国麦迪逊威斯康星大学胡萨姆·纳西夫、芬恩·库西斯托、伊丽莎白·伯恩赛德和裘德·沙夫利克大学
摘要:“提升建模是一种分类方法,用于确定某项行动对给定人群的增量影响。隆起建模旨在最大化隆起曲线下方的面积,这是升力曲线下主体和控制集合区域之间的差异。提升和提升曲线很少在营销领域之外使用,而相关的ROC曲线通常用于多个领域。使用基于 ROC 的模型而不是 lift 来实现良好的提升可能在多个领域更加直观,并且可能有助于提升建模覆盖更广泛的受众。我们将提升建模统计关系学习器 SAYL 改为使用 ROC 代替 lift。我们在筛查乳房X光检查数据集上测试我们的方法。根据我们的数据,SAYL-ROC的表现优于SAYL,尽管并不明显,这表明ROC可以用于隆起建模。另一方面,SAYL-ROC返回更大的模型,从而降低了可解释性。”
增量模型与归因模型
兰德尔·刘易斯、黄杰弗里、Netflix
摘要:“向潜在客户展示广告与不向潜在客户展示广告的因果关系,通常被称为 “增量”,是广告效果的基本问题。在数字广告中,三个主要拼图是严格量化广告增量的关键:广告购买/竞价/定价、归因和实验。在机器学习和因果计量经济学的基础上,我们提出了一种方法,将这三个概念统一为计算上可行的竞价和归因模型,该模型涵盖广告因果效应的随机化、训练、交叉验证、评分和转化归因。这种方法的实施可能会确保广告投资回报率的显著提高。”
瑞安霍夫曼














