《因果推断在增长业务ROI量化评估上的应用.docx》由会员分享，可在线阅读，更多相关《因果推断在增长业务ROI量化评估上的应用.docx（23页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、因果推断在增长业务ROI量化评估上的 应用做增长业务，常用的策略手段有渠道拉新、拉活、节假日活动等。这几个业务都 是需要花钱的，每年分配的预算有限，如何权衡在各项业务上的投入本钱，如何 花钱效率最高，将好钢用在刀刃上是需要运营管理者去思考和决策的。如何决策更科学，那就不得不提到因果推断这种科学的量化方法，每笔投入的 ROI量化评判标准统一,自然就可比拟。有一套关于花钱的经典面试题，新年伊始，业务部门要做新一年的规划，部门需 要在渠道拉新、拉活、节假日活动3个地方花钱，你如何判断花钱是否值得，分 配是否合理？这里面隐含的一个问题是，上述3个地方你的评估标准是否统一，比方用户价值 统一用LTV衡量
2、，后续统一计算ROI即可，最忌讳的是不同业务有不同的标 准，比方拉新看次留、拉活看回流量、A活动看签到量、B活动看积分消耗量等, 不统一那么不可纵向比拟。渠道拉新相对容易，因为本身拉来的是一个新用户，自身计算LTV即可，但是 拉活、活动因为要计算增益，就需要找比照组。比方拉活要比照拉活和未拉活，活动要比照参与活动和未参与活动的两个群体， 这里面就会引入新的问题，你比照的两个群体，本身就是不同质的，比方近期高对照组:至此，我们就计算出了权重系数Wo增益效应评估潜在结果H的期潜在结果K）的朋 平均处理效应（A 处理组平均处理其中小为处理组套入上述公式，即可计算得出ATT或ATE。三.倾向性加权得分
3、在活动效果量化增益上的应用以下以参与某活动为例，讲解倾向性加权得分方法在活动ROI量化增益上的应 用。1 .实验组和测试组划分因果推断本质上是在人为模拟AB Test,那么模拟的AB两组，也要符合真实 AB test分组的定义。AB Test实验组：随机分流，同一时间只受一才 完全随机存在不确定性，分 组的实验对象在某些指标待 分布不均，所以需要通过其彳 工欠凝，确性蜴聆 验.空白组：历史上未受任何策略影响注意此处很重要，否那么会得出错误的分组结果。2 .将因果推断模型计算过程工程化提高复用性.缩短开发周期或14天R上诂月不同的模型，使用的特征变量基本一致，可以将常用特征变量固定化自动化采集，
4、 丰富特征变量库，便于提高模型的复用性，同时缩短开发周期，高效给出策略建 议。3.迭代优化逻辑回归模型，计算概率巴权重系数w通过常用的逻辑回归算法计算倾向性加权得分P,对分类变量进行热编码，匹 配加权结果更均匀1）观察变量显著性，对于不显著的变量可弱化模型在该变量上的匹配效果class 1stat smode B.ioIib.summa ryaSumma ry Generalized Linear Model RegDcp Variable:Model:Model Family: Link Function:Method:Date:Time:No. Iterations:Covariance
5、Type:is_treat GLM Binomial logit IRLSThu, 14 Apr 2022 17:32:48 9 nonrobustNOe 01Df ReDf Mo,ScaleLog-LDevia；Pears，coef stdcoef std f Ur工v0t. IJ.，n_1 rs uvl It.3Intercept e_l-7.6411 0.3767 0.2902 0.3208 0-5988 0.8506 0.2106 26939 2.5340 2.4785 2.4522 2.5406 2.9583 1.1226 1.1049 0.79070 00 00 0000 00 0
6、00002）匹配结果量化实验组和控制组样本量接近1 : 1 SMD 0.1SMD 即 Standarized Mean DifferenceSMD的一种计算方式为：（实验组均值-对照组均值）/实验组标准差。以上量化指标符合规那么，那么说明加权匹配成功3）量化熠益值及显著性校验HUHWLS Regression ResultDep. Variable:Model:Method:Date:Time:No. Observations:Df Residuals:Df Model:Covariance Type:Dep. Variable:Model:Method:Date:Time:No. Obser
7、vations:Df Residuals:Df Model:Covariance Type:WISLeast Squares Thu, 14 Apr 2022 17:33:12R-square Adj. R-s F-statis Prob (F Log-Like AIC: BIC:nonrobustcoef std err0.0350.0501.622232.687Omnibus:Prob(Omnibus):Skew:Kurtosis:Intercept is treat 一Durbin-Wat 0.000 Jarque-Ber 1.619 Prob(JB): . Cond. No.Notes
8、:1 Standard Errors assume that the covariance matHIMI活用户更有可能参与活动，未参与活动里面掺杂的更多的是低活和回流用户，自 然参与活动的用户无论人天还是留存都会比未参与活动的人群高，那你怎么能证 明是活动本身带来的增益呢？参与活动和未参与活动某疚中频-低频参与活动未参is.treat = 1.62说明参与活动用户较未参与活动用户30日人天增益为1.62 ,且结果显著，量化评估结果可用。4.量化活动增益ROI常用衡量指标为LTV ,比照参与活动组和未参与活动组的LTV差异即为LTV 增益，这里面的难点为从活动开始计算多长时间的增益算活动带来的
9、，也就是说 因活动带来的增益有多大且会持续多长时间？由活动带来的增益会分为3局部：渠道投放新增+活动裂变新增+首次参与 活动的老用户新增即求相应的新增用户LTV即可这里暂且不表，另外为什么要限定是首次参 与活动的老用户呢？限定老用户首次参与活动后，那么其每日因活动带来的增益 就不会和屡次参与活动的老用户增益混淆在一起，导致不能很好的量化活动增 益。LT即我们要计算的活动生命周期时长增益，LT可以等价看成参与活动组和未 参与活动组用户在后续N日日活跃率的增益，N日日活跃率增益相加即为LT 增益。选择看日活跃率的好处是我们可以从曲线走势上看出以下两点，间接验证 模型的匹配加权效果。参与活动和未参与
10、活动用户在参与活动前是否可以看成同一个人？即参与活动前两组用户的日活跃率曲线是否重合，以此来验证倾向性加权得分的效果将N日时间周期拉长，从后续留存时长变化趋势上帮我们清晰地定位到活动效应的存续周期港助惠同平地*q至此，我们便完整的完成了活动效果量化ROI的增益计算，另外因为也考虑了 模型的工程化，此方法可以快速延伸到拉活、某功能改版上线等的后续增益评估 上。参考文献： s:/dango.rocks/blog/2019/01/08/Causal-Inference-Introductionl/ s:/dango.rocks/blog/2019/08/18/Causal-Inference-Int
11、roduction3-P ropensity-Score-Weighting/明显直接拿参与未参与进行比照，会存在混淆因子&自选择偏差。控制转化的唯一变量不是是否参与活动假设影响转化的唯一变量，不只是参与 活动与否这个属性，会得出错误结论。人群属性分布不一致的两个组不能直接比拟：1 .参与活动用户本身就是相对高活的用户，可能没有活动也会回来，本身易转化.其它属性特征导致用户更容易参与活动，而未参与活动的用户本身就是不活跃的不 宜转化2 .用户因为节假日的影响自然频率上升3 .活动期间多种策略同时影响用户，不只活动一种策略为了解决这个效果评估的问题，本文采用因果推断中的倾向性得分加权的方法， 找
12、到对照组和实验组同质的用户群进行比拟分析。还有一种常用的方法PSM倾向性得分匹配，经比照,PSM倾向性得分匹配方法 能够处理的数据量在几w级别，且随着数据量的增加计算效率降低很快，甚至 出现计算不出结果的情况，故推荐倾向性得分加权的方法。一,什么是因果推断在做用户增长时，我们要回答的终极问题是如果对产品施加T策略，对业务 目标是否有影响，影响有多大？我们对产品施加的策略为因，因此而出现 的结果为果，中间控制住混淆变量X，保证T策略是唯一影响因素。干预策略T这样就可以回答，因为T策略的施加，导致结果Y增益了多少。干预T(treatment): 一般为二值干预，用T = 0或T = 1来指示用户是
13、否受 到了某种干预，例如是否参与了 A活动潜在结果YiO,Yil:对每个用户i ,他们是否受到干预会有两个潜在结果YiO和Yil ,如YiO表示未参与活动A , Yil表示参与了活动A观察结果Y :当一个用户没有受到干预时(T=0 ),我们将会观察到Y= YiO , 当一个用户受到干预时我们将会观察到Y = Yil混淆变量X :可以简约看成是一系列用户特征，比照的两群人具有同样的特征 分布，可看成平行空间中的同一个人，他们的潜在结果和T是相互独立的1.因果效应ATE (Average Treatment Effect):ATE =- Yq即平均处理效应，这里的E是期望，对所有用户取期望。最终匹
14、配的干预组 和控制组在因变量上的平均差异，即干预对所有人的平均效应。ATT (Average Treatment Effect on the treated):ATT = EYX -YQT=1 即处理组平均处理效应，这里的E是对所有T=1的用户取期望。直观来说，ATT 为实验组样本接触到干预后，干预对受到干预的人的平均因果效应。二、因果评估方法倾向性加权得分从整体用户群中随机抽样，分成两组人群，实验组：参与活动用户；控制组：未 参与活动用户，带入二元逻辑回归模型进行迭代，计算得到倾向性得分P,按 照P计算权重系数w用于均衡控制组人数分布，保证控制组和实验组人数分 布基本一致。整体用户群详细原理如下:倾向性评分是指在一组协变量条件下(X),对象i接受treatment (T=l)的概 率值。这个概率值的计算最常用的是逻辑回归模型，也可以选用随机森林、神经 网络等模型。在相似的得分下，treatment和control基线资料的分布应该是平衡的。因果效应ATT、ATE和倾向性得分的关系如下：ATE :实验组：1w =对照组：1w =1 - GG即为通过模型计算出的概率得分。ATT :实验组: