作者介绍 01 前言 在实际的效率评估工作中,不是所有的营销活动都做了AB实验,也不是所有的公司都将PSM做了模型产品化,在没有AB实验和PSM建模的情况下,有其他的方法可以进行评估吗?今天给大家介绍一种比较常用也是比较容易操作的分析方法,叫做双重差分法。 02 DID介绍 双重差分法DID英文名Differences-in-Differences,别名“倍差法”,小名“差中差”。双重差分法估计的本质就是面板数据固定效应估计,双重差分简单理解就是差分两次。作为政策效应评估方法中的一大利器,双重差分法受到越来越多人的青睐,概括起来有如下几个方面的原因: 双重差分法的原理和模型设置很简单,容易理解和运用; 基准的DID模型设置如下: 为什么a3就能够体现出策略的净效应呢?这一点可以通过下表来体现(下表也反映了双重差分法五个字的真正含义): 策略实施前 策略实施后 Difference 对照组 a0 a0+a2 a2 实验组 a0+a1 a0+a1+a2+a3 a2+a3 Difference a1 a1+a3 a3 03 DID实操 假如现在市场营销部进行了一次广告投放,然后让你评估一下这次广告投放是否有效,评估是否有效的标准是“是否带来了GMV增量”。运营同学在日常评估中,最常见的方式就是前后比:如下所示,广告触达的用户中,投放前的GMV是100万,投放期间的GMV是150万,那么广告投放带来GMV增加50万。那这50万就真的全部是这次广告投放带来的增量吗? 样本 广告投放前 广告投放期间 Difference 广告触达用户 100万 150万 50万 直接采用大盘非广告触达用户,优点是简单粗暴,参考大盘自然趋势即可,缺点是广告触达的用户可能本身就是更加容易带来GMV的用户,而未被广告触达的用户可能相对就不够活跃,GMV增长就比如广告触达用户。 利用第三方的网民样本PANEL库,从PANEL库中匹配出在公司有访问的目标用户群,其中被广告触达的为实验组,未被广告触达的为对照组,优点PANEL库基本可以代表整体网民,通过是否被广告触达筛选出实验组和对照组,缺点是如果公司的广告投放目标用户是PANEL库中的某一小部分如某个城市群体,那么最终的结果可能会有很大误差。 通过PSM方法筛选大盘非广告触达用户,这个其实就是上一次文章分享PSM方法中提到的PSM+DID,主要是PSM建模构建对照组,然后通过DID进行误差修正。由于本文主要还是介绍无法使用AB实验和PSM建模的情况下如何进行评估,所以此处的PSM+DID也不赘述了。 好,假设我们对照组也构建好啦,如下表所示,那么净GMV增长就是30万,表示虽然被广告触达的用户交易额增长了50万,但是如果不投广告这些用户自然也有20万的交易额增长,所以最终净GMV增长是30万。 样本 广告投放前 广告投放期间 Difference 实验组 100万 150万 50万 对照组 60万 80万 20万 Difference 40万 70万 30万 04 后记 双重差分DID在日常运营工作中的确是最快最容易上手的评估方式,但是往往准确性也不如AB实验。如果要真的用于决策一个项目是否值得投入更多的钱,建议在策略不变的基础上做多期的DID评估,看效果值是否稳定。2.1 DID概述
2.2 DID模型
发表评论 取消回复