分组后结论与总体相反,通常不是分组算错,而是两组的分母构成不同。查分母的目标是确认:同一指标在总体和分组中,分子、分母、去重口径是否一致,以及分组之间是否存在权重差异。缺少完整数据或权限时,最小动作是先固定一个指标、一个时间窗和一个分组维度,把总体值与分组值手工对一遍;能对上的部分才进入下一步,对不上的部分先记录为口径差异,不能直接推出“某组更差”或“改动有效”。
网站uv 是去重访问者数,它天然不是一个可以随意相加的分母。若总体 uv 按全站去重,而分组 uv 按各栏目分别去重,同一访客跨组时会被计多次,分组之和就可能大于总体。此时“总体转化率”与“分组转化率”的对比已经失真。
可执行的最小动作:取同一时间窗,分别导出总体 uv、分组 uv 和分组内转化数,检查分组 uv 之和与总体 uv 的差值。若差值明显,说明分组口径是“不去重”或“按组去重”,下一步应改用同一去重规则重算,而不是继续比较转化率。
总体结论常被大流量组主导,而分组结论只反映各组内部比例。假设某站总体转化率从 2% 升到 2.2%,但 A 组(占 uv 八成)从 3% 降到 2.8%,B 组(占两成)从 1% 升到 1.5%。总体上升主要由 B 组带动,A 组其实在下降。这类“辛普森式”反转的根源是权重,而不是某个组突然变好或变坏。
判断依据是分组 uv 占总 uv 的比例是否在对比期内发生明显变化。若比例稳定,反转更可能来自口径;若比例变化大,应先按固定权重或分层加权重算,再看结论是否仍然相反。这一步的结果决定下一步:加权后仍相反,才值得继续拆更细的维度。
没有完整埋点或后台权限时,仍可执行的最小动作有三类:
这些动作只能支持“口径可能不一致”或“权重可能变化”的判断,不能推出具体某次改版带来多少增量,也不能仅凭某个指标归零就断定处理正确——归零还可能来自埋点失效、权限变更或统计延迟。
若分组之和与总体接近、权重稳定,反转仍存在,说明分组本身有信息量,应保留分组结论并继续查更细维度。若分组之和远大于总体,说明去重口径冲突,应先改写分母定义再比较。若连分组 uv 都无法获得,只能拿到总体值,则不宜用分组结论指导决策,此时退出分组分析、回到总体趋势并标注局限,比强行解释更可靠。
三种选择的前提不同:保留要求口径一致且权重可比;改写要求能重新定义分母;退出适用于证据链断裂且短期无法补齐的情况。选错方向的代价是继续在错误分母上叠加判断。
完成这五步后,你得到的不是“谁对谁错”,而是一条可追溯的证据链:哪些差异来自分母,哪些来自权重,哪些暂时无法判断。下一步动作应基于这条链中最确定的一环,而不是基于反转本身。