【数据分析案例】如何科学度量广告投放的增量效果

传统的“末次点击”归因规则，对于以下业务场景，功劳贡献的评估结果并不客观。比如：

广告增量效果度量的核心思路：对比“投放广告”和“不投放广告”的核心指标表现，计算广告投放的 delta 真实增量；并将增量与归因量级进行对比，重新“修正” 归因规则，使得新规则下的归因结果与增量结果接近。

比如，当真实增量>归因量级，则需要放宽归因窗口期、或者增加低门槛线索类型（比如加入广告曝光）；当真实增量<归因量级，则需要缩小归因窗口期、或者放弃低门槛线索类型，只保留高门槛线索（比如DAU归因时，只保留拉活广告的唤起事件、放弃点击广告线索）。

另外，仅对新规则归因口径下的用户转化明细数据进行oCPX回传，也可以使得媒体模型学习的方向与广告“纯粹“的增量贡献方向保持一致，避免模型学习为“抢自然量”的方向。

具体实施方案如下：

1. 对于可以做AB实验的广告类型，建议通过AB实验进行科学度量。比如DSP广告和RTA广告，可以在参竞前的节点进行随机分流，95%流量实验组进行正常投放，另外 5%流量的对照组不参竞，并计算 Δ量级（比如Δ完单量、ΔDAU）、Δ成本 （渠道费用/Δ量级）。还可以将delta结果，拆分下钻到各个人群维度，寻找低增量成本的人群类型。

   
   

2. 对于无法开展AB实验的广告类型，可以基于因果推断理论的准实验方法进行科学度量。比如对于广告后台上传人群包的标准直投拉活广告，由于广告主不具备在曝光环节进行分流的能力，且如果广告需要投放在多个主流媒体，则无法直接使用媒体侧自带的增量度量功能，来评估对比所有媒体投放 vs 所有媒体不投放的增量效果。

   此时，只能基于PSM匹配的方式，利用用户画像信息、以及用户行为特征， 从“未曝光用户”中寻找与“曝光用户”非常相似的双胞胎用户作为对照组。但由于永远无法穷尽所有特征，因此结论会有偏差。

某电商App长期基于RTA技术，投放巨量引擎和广点通广告进行流失用户的召回。考核指标为流失用户召回后的首单量、以及首单成本。但以下几个问题需要回答：

1. 广告投放的整体真实增量效果、以及真实ROI如何？

2. 广点通渠道、巨量引擎渠道，对于整体投放业务的真实贡献度如何？

   是否有被高估、或者低估？

   如果需要冲量，预算需要向哪条渠道倾斜？

   如果需要降低成本，预算需要向哪条渠道倾斜？

3. 广点通和巨量引擎的渠道独占性如何？合作效应如何？两条渠道的重复投放是否能提升用户的转化率？

核心结论：

1.对于问题1，对照组 vs 空白组的数据说明：所有广告渠道都砍掉后，整体大盘会每天损失大盘 xx 万单的完单用户量级，缩减了xx 万元的渠道预算支出，所有投放渠道的增量成本为xx元。增量成本远高于归因成本，需将归因规则向严苛方向调整。

2.对于问题2、问题3：

●实验组1 vs 对照组的数据说明：砍掉巨量引擎后，整体大盘会每天损失xx万的完单量级，节省了xx万元的渠道预算，渠道的增量成本为xx；远高于归因成本，需将归因规则向严苛方向调整。此外，对照组用户的广点转化率（完单/曝光）更高，说明广点通与巨量引擎协同后，会提升广点通用户的触达率（曝光/参竞）。

●实验组2 vs 对照组的数据说明：砍掉广点通渠道后，整体大盘会损失xx万的完单量级，节省了xx元的渠道预算，渠道的增量成本为xx。与归因成本的差异较小，无需调整归因规则。此外，对照组用户的巨量引擎转化率（完单/曝光）更高，说明巨量引擎与广点通协同后，会提升巨量引擎用户的触达率（曝光/参竞）。

●对比分别砍掉其中一条渠道的效果后，可以发现，由于砍掉广点通渠道后的完单量级损失较高，因此广点通渠道的独占性更强，但广点通渠道的增量成本相对较高。因此，如果当前投放首要目标是冲量，建议预算可以向xx渠道倾斜；而如果为了控制成本，建议渠道向xx渠道倾斜。

需要注意的是，AB实验仅能看清delta成本以及delta量级，但是无法知晓具体哪些用户明细是delta增量；此外，由于最小样本量的要求，AB实验需要持续多天才能得出确凿结论，实效性较差。

然而，广告投放业务需要将归因转化样本，实时回传给广告平台进行模型学习；同时，还需要快速敏捷地基于转化成本进行投放策略调整，诸如此类的许多场景都要求我们必须要快速看清delta成本以及delta量级。此时，就不得不依赖于通过多触点优先级PK的方式进行广告增量度量了。

因此，为了更科学同时更敏捷地评估归因成本，需要重新修正多触点归因模型。为此，该团队搭建了高自由度、强个性化的自定义归因产品，以更加全面的视角发现渠道的价值。

自定义归因产品可以自由配置以下模型参数，并通过对比不同归因方案的归因结果与增量实验的差距GAP，以选出能够评估渠道真实价值的最优渠道归因方案。模型参数如下：