遇到辛普森悖论式的反转,先别怀疑结论本身,而是把每个分组的转化率还原成“分子/分母”,检查分母的构成是否在分组之间发生了系统性偏移。总体结论与分组结论相反,最常见的原因是分组变量本身与另一个隐藏变量高度相关,导致各分组的分母权重完全不同。查分母,就是查这个权重差异是否合理。
把总体和分组的转化率列在一起后,反转通常只有两类。第一类是分母权重差异:某个分组的分母极大,拉高了它在总体中的话语权,而这个分组恰好转化率偏低。第二类是分组内部还有未拆开的子群体,各子群体的分母占比不同,掩盖了真实差异。
区分方法很简单:分别计算每个分组的分母占总分母的比例,再乘以该分组的转化率,看加总后是否等于总体转化率。如果加总对不上,说明分母口径在分组之间不一致,比如一组统计的是会话数,另一组统计的是用户数。这一步只需要一张对照表,不需要额外埋点。
如果各分组的分母定义相同,只是权重不同,那么分组结论通常比总体结论更可信,因为总体把不同性质的流量混在了一起。此时应保留分组,并进一步检查权重差异来自哪里。
具体动作:对每个分组,列出分母的绝对量和它在总体中的占比,再对比该分组的转化率。如果发现高权重分组恰好是低转化分组,就要问这个高权重是否合理。例如按设备类型分组时,移动端分母远大于桌面端,而移动端转化率低,总体被拉低是正常的,不是数据错误。
判断依据:当分组变量是用户可感知的真实差异(设备、来源渠道、新老用户),且分母口径统一时,分组结论优先。
如果分母口径一致但分组变量本身与另一个变量高度相关,继续深挖原分组只会得到误导性结论。例如按“是否登录”分组时,登录用户的分母小但转化率高,未登录用户分母大但转化率低;但真正影响转化的是“访问意图”,登录只是意图的代理变量。此时应换成意图相关的分组维度。
具体动作:先找出与转化率相关性更强的第二个变量,用它重新分组,观察反转是否消失。如果消失,说明原分组是混淆变量,不是原因。这个动作的结果会直接决定下一步:反转消失就换维度继续分析,反转仍在就回到分母口径检查。
代价:换维度需要重新定义分组规则并回溯历史数据,如果埋点没有记录新维度,可能只能从当前时间点开始积累,无法立即得出结论。
无论选哪条路,先做同一件事:为每个分组建立一行记录,包含分母量、分子量、转化率、分母占比四项。然后按以下顺序检查:
这张表能定位问题出在口径、权重还是分组变量本身。定位后,再决定是保留分组、换维度,还是修正分母定义后重算。
有一种情况不需要修正:分组变量是真实且不可合并的,总体结论只是为了汇报方便而计算的加权平均。例如不同地区的转化率天然不同,总体转化率只是各地区按流量加权的平均值,反转并不代表任何一方出错。此时应保留分组汇报,并注明总体值的计算方式,而不是强行统一结论。
假设某站点按渠道分组,A渠道分母1000、转化率2%,B渠道分母100、转化率10%,总体转化率约为2.7%,低于B渠道。这个反转是真实的,因为A渠道流量大但转化差。下一步应优化A渠道,而不是质疑B渠道的数据。这个例子中的数字仅用于说明加权逻辑,不代表任何实际站点表现。
查分母的最终目的不是让分组和总体结论一致,而是确认哪个口径对应你要回答的问题。如果问题是“整体业务表现如何”,总体值更合适;如果问题是“哪个渠道值得投入”,分组值更合适。分母只是帮你确认这个选择是否成立。