【干货总结】营销活动效率评估之用户分群

在营销活动效率评估这个专题中，给大家了介绍了4种方法：

1. 如何通过严格的AB实验进行评估；

2. 在没有做AB Test的情况的下用PSM构建对照组进行评估；

3. 用DID双重差分法简单直接的进行对比评估；

4. 新客/沉默回流用户用LTV进行评估；

在实际的工作中，有些营销活动是不区分用户类型的，同时涵盖拉新、促活、沉默召回等功能，如果做了AB实验，那么直接通过实验组和对照组对比可以获得结果，但是在没有进行AB实验的情况下，新客在过去一段时间是没有用户行为数据的，我们很难通过PSM方法构建用户特征相似的对照组，为了提高评估的准确性，我们常常会引入“用户分群”概念，虽然说是新概念，但是其实都是之前讲过的评估方法的组合，很适合作为该系列的收尾文章。

此处的用户分群不是指按照RFM模型、AARRR模型、用户生命周期或是根据一些用户特征对用户进行分层。此处的分群指的是评估视角的用户分群：即将活动触达的用户分为新客、活跃老客、沉默召回用户，不同类型的用户再按照不同的评估的方式进行评估，最后再进行综合计算得出最终结果。

评估的方法还是之前提到过的，只是从用户分群的角度对营销活动进行了拆解。因为新客、沉默召回用户（可视作转新用户）是按照纯增量来计算的，没有匹配的对照组，所以评估的方法和活跃老客有所差异。新客和沉默召回用户用之前提到过的LTV方法进行评估，活跃老客用PSM方法、DID双重差分法或者PSM+DID结合的方式进行评估。

2.2.1 分用户群进行ROI效率评估

举个简单的例子，方便大家更好的理解。假设现在有一个裂变类的营销活动，未进行AB实验，同时会触达新客、活跃老客以及沉默用户，不同的用户策略如下：

那么，我们针对不同分群的用户可以计算出各自的ROI：

新客ROI

活动触达新客数10,000人，在首月30天内带来交易额500,000元其中获客成本200,000元，假设该产品用户的LT为90天历史用户在1/3LT内产生的交易额是整个LT内交易额的1/2在1/3LT内产生的成本是整个LT内交易额的4/5，那么我们可以计算该批次新客：ROI=LTV/CAC=（500,000/ 1/2）/(200,000/ 4/5 )=4

活跃老客ROI

活动触达老客用户数70,000人，在30天内带来的交易额为4,200,000元其中促活成本为840,000元，通过PSM构建对照组用户对照组用户在同期内的交易额为3,600,000元，消耗成本640,000元那么该批次活跃老客：ROI=（活动触达老客的交易额-PSM构建对照组同期的交易额）/（活动触达老客的总成本-PSM构建对照组同期的成本）=（4,200,000-3,600,000）/（840,000-640,000）=3

沉默召回用户ROI

活动触达新客数20,000人，在召回30天内带来交易额1,100,000元其中召回成本360,000元，假设该产品沉默召回用户（转新用户）的LT为180天历史用户在1/6 LT内产生的交易额是整个LT内交易额的1/5在1/6 LT内产生的成本是整个LT内交易额的3/10那么我们可以计算该批次沉默召回用户:ROI=LTV/CAC=（1,100,000/ 1/5）/(360,000/ 3/10 )=4.6

2.2.2 计算综合ROI

综上，我们获得新客的ROI=4，人数10,000人，交易额增量为1,000,000元，增量成本为250,000元，人均增量交易额为100元，人均增量成本为25元；

活跃老客的ROI=3，人数70,000人，交易额增量为600,000元，增量成本为200,000元，人均增量交易额为8.6元，人均增量成本为2.86元；

沉默召回用户ROI=4.6，人数20,000人，交易额增量为5,500,000元，增量成本为1,200,000元，人均增量交易额为275元，人均增量成本为60元；

要计算综合结果比较常见的有两种计算方式：第一种直接按照人数进行加权，第二种给不同分群的用户不同的权重再加权。

直接按人数加权

直接按照人数加权计算，将所有的用户带来的增量都看做是平等的，ROI=（新客人均增量交易额*新客数+活跃老客人均增量交易额*活跃老客数+沉默召回用户人均增量交易额*沉默召回用户数）/（新客人均增量成本*新客数+活跃老客人均增量成本额*活跃老客数+沉默召回用户人均增量成本额*沉默召回用户数）=（1,000,000+600,000+5,500,000）/（250,000+200,000+1,200,000）=7,100,000/1,650,000=4.3。

给不同用户不同的权重再加权

给不同的用户不同的权重，具体怎么给，还得看业务是如何定义不同用户价值的（可以靠管理层对齐定下的权重，也可参考AHP层次分析法通过专家打分给予权重），比如现阶段营销活动对于拉新功能比较重视，其次是沉默召回功能，最后是活跃老客促活功能，那么可能给新客的权重是3，沉默召回用户权重是2，活跃老客权重是1。

则ROI=（新客人均增量交易额*新客数*新客权重+活跃老客人均增量交易额*活跃老客数*活跃老客权重+沉默召回用户人均增量交易额*沉默召回用户数*沉默召回用户权重）/（新客人均增量成本*新客数*新客权重+活跃老客人均增量成本额*活跃老客数*活跃老客权重+沉默召回用户人均增量成本额*沉默召回用户数*沉默召回用户权重）=(3,000,000+600,000+11,000,000)/（750,000+200,000+2,400,000）=14,600,000/3,350,000=4.4

在营销活动效率评估专题，我们讲解了通用的几种方法，并针对每一种方法展开进行了介绍，主要如下：

• LTV：主要用于新客、沉默召回用户ROI评估；

• AB实验：通过AB实验分流，保证样本的均匀性，控制实验组和对照组的单一变量，是最能准确评估业务动作效果的评估方法；

• PSM：PSM即Propensity Score Matching，倾向评分匹配，在没办法进行AB实验的基础上进行PSM构建对照组；

• DID双重差分：DID即Differences-in-Differences，双重差分，根据业务场景，人为选择参考对照组来评估策略影响下的效果；

• 用户分群：将用户分为新客、活跃老客、沉默用户，针对不同的用户再选择对应的评估方法；

在实际的操作过程中，大家可结合实际的应用场景选择合适的方法进行评估。但是有一点，评估出来的数字只是数字而已，针对评估结果能给到什么样的策略建议才是分析师发挥价值的体现，这就很考验分析师对于业务的理解。希望大家都能掌握基本的评估方法，再结合自己对于业务的理解，最大化的发挥效率评估的价值。