← A/B 测试知识库

A/B 测试指标体系建设指南

A/B 测试 知识库

---

指标是 A/B 测试的"眼睛"看什么决定了你发现什么，看错了一切白费。本文从零到一系统性地设计 A/B 测试的指标体系。

---

目录

1. 指标的分级体系
2. OEC 的设计与权重推导
3. 护栏指标体系设计
4. 指标的敏感度评估
5. 代理指标的验证方法
6. 指标诊断体系
7. 指标字典管理

---

一、指标的分级体系

1.1 五级指标金字塔

                     
                       北极星指标      公司的"唯一真相"
                       1 个         
                     
                            
                 
                      一级指标           核心业务域指标
                      3-5 个          
                 
                            
              
                      二级指标              策略可影响的中间指标
                      10-20 个           
              
                            
              
                      过程指标              诊断/定位用的指标
                      50+ 个             
              
                            
              
                      技术指标              性能/稳定性指标
                      不限               
              

为什么需要分级？ 不是所有指标都适合做决策。用过程指标做上线决策，相当于"因为用户点击了更多所以策略有效"但点击更多可能意味着更难找到想要的内容。

1.2 各层级的职责与约束

核心原则：

• 北极星和一级指标是"慢指标"（变化慢），用于判断长期方向是否正确
• 二级指标是实验 OEC 的主要来源，是北极星的"代理"需要验证相关性
• 过程指标只用于诊断和探索，不用于决策

1.3 典型的指标分级示例

北极星：用户日均价值时长（消费类产品）
        
        
一级  用户规模：DAU、WAU
指标     用户粘性：次日留存率、7 日留存率
         商业变现：人均 GMV、LTV
         内容/供给效率：人均内容消费量、供给匹配率
              
              
二级  CTR、转化率、完播率、客单价、ARPU
指标             新用户激活率、功能渗透率、推送打开率
               搜索使用率、推荐点击率、收藏率
               退款率、复购率、评论率
                    
                    
过程  曝光量、点击量、页面停留时长、滚动深度
指标                   分渠道新增、分入口流量、分端使用比例
                     弹窗触达率、运营位曝光率、CTA 点击率
                     活动参与率、分享率、邀请率

---

二、OEC 的设计与权重推导

2.1 什么是 OEC

OEC（Overall Evaluation Criterion）是实验的唯一核心决策指标。它是一个复合指标，将多个方向性指标合并为一个方向一致的"分数"：

$$OEC = w_1 \cdot M_1^ + w_2 \cdot M_2^ + ... + w_k \cdot M_k^*$$

其中 $M_i^*$ 是标准化后的指标值，$w_i$ 是指标权重。

2.2 为什么需要 OEC 而不是一个单一指标

单一指标的问题：
  "用留存率决策"  可能偏向保守策略（不做任何变化留存最稳）
  "用 GMV 决策"  可能偏向激进的变现策略（伤害用户体验）

OEC 的价值：
  留存率（40%） + GMV（35%） + 用户活跃度（25%）
   一个策略必须在三者之间取得平衡才算"好"

2.3 OEC 权重推导方法

方法一：北极星分解法（最推荐）

1. 确认北极星指标：如 LTV
2. 用历史数据建模 LTV 的驱动因素：

   LTV = f(留存率, 付费率, ARPU, 获客成本, ...)

3. 计算每个驱动因素对 LTV 的边际贡献（弹性系数）：

   _i = LTV / 指标_i

4. 归一化弹性系数得到权重：

   w_i = _i /  _j

方法二：取舍实验法（Trade-off Experiment）

当明确权重困难时，直接用实验来"问"用户：

设计一个实验，刻意让两个指标发生冲突：
  - 对照组：现状
  - 实验组 A：牺牲一点 GMV + 提升留存
  - 实验组 B：牺牲一点留存 + 提升 GMV

看哪组的效果对长期 LTV 更有利，反向推导权重。

2.4 OEC 设计规范

OEC 标准化方法：

$$M_i^* = \frac{M_i - \mu_i}{\sigma_i}$$

其中 $\mu_i$ 和 $\sigma_i$ 是实验前该指标在全体用户中的均值和标准差。

2.5 OEC 设计模板

## OEC 设计文档

### 北极星指标
LTV（用户生命周期价值）

### 驱动因素分析
| 指标 | 弹性系数 | 方向 | 权重 |
|------|---------|------|------|
| 30 日留存率 | 0.42 | 越大越好 | 40% |
| 人均 GMV | 0.35 | 越大越好 | 30% |
| DAU 活跃天数 | 0.23 | 越大越好 | 20% |
| 客诉率 | -0.10 | 越小越好 | 10% |

### OEC 公式
OEC = 0.4  Z(留存率) + 0.3  Z(GMV) + 0.2  Z(活跃天数) - 0.1  Z(客诉率)

### 验证方式
- 用近 6 个月历史数据验证 OEC 与 LTV 的相关性  0.85
- 用过往 10 个实验验证 OEC 的决策结果与长期效果的一致性  80%

---

三、护栏指标体系设计

3.1 护栏指标的定义与分类

护栏指标（Guardrail Metrics）是实验中"不能变坏"的指标集合。它们的角色不是判断策略是否有效，而是判断策略是否有害。

3.2 护栏指标的选择原则

反向护栏的选择"四个不"：

正向护栏的选择"两个确保"：

3.3 护栏指标的统计处理

问题：护栏指标也需要统计检验，但 Type-II error 在这里更危险"没发现护栏恶化"比"误报了护栏恶化"更严重。

解决方案：

1. 扩大 （放宽阈值）：护栏指标使用 = 0.10 或 0.20，宁愿误报也不要漏报
2. 趋势预警：护栏指标即使不显著，连续 3 天同方向变化也触发预警
3. 效应量阈值：护栏指标设置"效应量警戒线"，如 DAU 下降超过 1%（无论是否显著）都标记

3.4 护栏指标配置模板

{
  "guardrail_metrics": [
    {
      "name": "crash_rate",
      "type": "reverse",
      "alpha": 0.10,
      "effect_threshold": 0.001,
      "action_on_breach": "pause_experiment"
    },
    {
      "name": "uninstall_rate",
      "type": "reverse",
      "alpha": 0.10,
      "effect_threshold": 0.002,
      "action_on_breach": "pause_experiment"
    },
    {
      "name": "dau",
      "type": "positive",
      "alpha": 0.10,
      "effect_threshold": 0.01,
      "action_on_breach": "flag_and_continue"
    },
    {
      "name": "day7_retention",
      "type": "positive",
      "alpha": 0.10,
      "effect_threshold": 0.005,
      "action_on_breach": "flag_and_continue"
    }
  ]
}

---

四、指标的敏感度评估

4.1 什么是指标敏感度

指标的敏感度（Sensitivity）衡量的是：在同样的样本量下，这个指标能检测到的最小效应有多小。

敏感度越高 越容易检测到微小的策略效果 实验效率越高。

4.2 敏感度的量化

对于一个实验（样本量固定），指标能检测到的 MDE 越小，敏感度越高。

$$MDE = \frac{(Z_{\alpha/2} + Z_{\beta}) \cdot \sigma}{\sqrt{n/2}}$$

其中 $\sigma$（指标的标准差）是决定敏感度的关键方差越小，敏感度越高。

4.3 指标敏感度对比

用变异系数（CV = /）来比较不同指标的敏感度：

关键洞察：

• 收入类指标的敏感度天然差（因为有"大 R 玩家"），必须用 CUPED + Winsorization
• 转化率类指标敏感度天然好，CUPED 的提升空间相对有限
• 选择敏感的指标作为 OEC 本身就是一种优化实验效率的方式

4.4 指标的敏感性评估实验

方法：用历史 AA 数据，模拟不同效应量的实验，计算每个指标的 Power 曲线。

对于每个候选指标：
  1. 取历史 AA 数据（50% vs 50%，无真实差异）
  2. 在实验组人工注入效应量  = 1%, 2%, 3%, ..., 10%
  3. 每次运行 t 检验，记录 p < 0.05 的比例（= Power）
  4. 画出 Power ~  的曲线

Power 曲线越"陡峭"  指标敏感度越高

4.5 结合 CUPED 后的敏感度再评估

CUPED 将方差降低为 $(1-\rho^2)$ 倍，等效 MDE 降低为 $\sqrt{1-\rho^2}$ 倍：

---

五、代理指标的验证方法

5.1 什么是代理指标问题

代理指标（Surrogate Metric）是用容易观测的短期指标代替难以观测的长期指标。例如：

• 用"CTR"代替"用户满意度"
• 用"次日留存"代替"长期留存"
• 用"使用时长"代替"用户价值"

风险：优化代理指标 提升北极星指标。这是 A/B 测试中最隐蔽的错误。

5.2 代理指标验证框架

方法一：相关性验证（Correlation Check）

用历史数据验证代理指标的变化（ 代理）和北极星指标的变化（ 北极星）是否一致：

$$Corr(\Delta \text{代理}, \Delta \text{北极星}) > 0.7$$

但光看相关性不够相关不代表因果。

方法二：实验回测（Experiment Backtest）

用历史实验数据验证：

对于过去 N 个已完成的实验（有短期和长期结果）：
  1. 用代理指标（短期）做决策  "上线"或"不上线"
  2. 用北极星指标（长期）做决策  "上线"或"不上线"
  3. 计算一致性 = 代理决策与北极星决策一致的比例

  一致性 > 85%  代理指标可用
  一致性 70-85%  代理指标有局限，需谨慎使用
  一致性 < 70%  代理指标不可用，必须换

方法三：代理指标的"致命缺陷"检测

检查是否存在"代理涨了但北极星跌了"的案例：

5.3 代理指标的决策矩阵

代理指标显著 ，北极星验证通过  可决策
代理指标显著 ，北极星验证不通过  不能决策，修正代理指标
代理指标不显著，北极星验证通过  代理指标敏感度不够，需要更敏感的代理
代理指标不显著，北极星验证不通过  两者一致，可决策

---

六、指标诊断体系

6.1 当实验结论矛盾时怎么办

最常见的矛盾场景：

场景 1：CTR 显著 ，但留存显著 
场景 2：GMV 显著 ，但客诉率显著 
场景 3：新用户指标 ，老用户指标 
场景 4：指标 A 说"好"，指标 B 说"坏"，OEC 不显著

6.2 指标树拆解法

当矛盾出现时，用指标树从"结果指标"向"过程指标"层层拆解，定位根因：

GMV 下降的矛盾诊断：

                      GMV
                       
          
                                  
      付费用户数      ARPU       退款额
                      
        
                       
  新付费户   老付费户 客单价  购买频次
     
  
       
曝光点击 点击付费
 转化率   转化率

诊断步骤：

1. 从顶层指标（GMV）开始，检查哪一层指标发生了显著变化
2. 沿着发生变化的路径向下拆解，直到找到最细粒度的"行为变化点"
3. 在变化点提出解释假设 用该分层的用户行为数据验证

示例诊断：

GMV 下降 3%
   付费用户数：-1%（不显著）
   ARPU：-2%（显著）
      客单价：持平
      购买频次：-2%（显著）   定位到这儿
          分品类看：
             高频品类（日用品）购买频次：持平
             低频品类（数码3C）购买频次：-8%   根因！
   退款额：持平

结论：策略（搜索排序调整）导致低频高客单价商品的曝光减少，
     用户看不到  不买  GMV 下降。

6.3 常见矛盾模式与解释

---

七、指标字典管理

7.1 为什么需要指标字典

不同团队对"同一个指标"可能有不同的计算口径：

"活跃用户"：
  增长团队：当日至少启动 App 一次
  内容团队：当日至少消费一篇内容
  商业化团队：当日至少产生一次付费行为

 同一个名字，三个不同含义
 实验结论不可对比、不可复现

7.2 指标字典的设计结构

{
  "metric_id": "M_DAU_001",
  "name": "DAU",
  "display_name": "日活跃用户数",
  "definition": "在统计日（UTC+8 00:00 ~ 23:59:59）内，至少完成一次 App 启动的用户数",
  "calculation": "COUNT(DISTINCT user_id) WHERE event = 'app_launch' AND date = target_date",
  "data_source": "events.user_behavior",
  "owner_team": "data_platform",
  "sensitivity_tier": "L1",
  "tags": ["user_scale", "north_star_component"],
  "related_metrics": ["WAU", "MAU", "DAU/MAU"],
  "caveats": "不含小程序和 Web 端的活跃用户，如需跨端数据请使用 M_DAU_CROSS_001"
}

7.3 指标字典的管理规范

7.4 指标字典的规模演进

初创期（0-50 个指标）
   用 Notion / 飞书文档管理
   核心要求：语义统一

成长期（50-200 个指标）
   用指标管理平台（如 Amundsen、DataHub、自研）
   核心要求：血缘追踪 + 变更审批

成熟期（200+ 个指标）
   指标的指标（Meta-metrics）：追踪指标的使用频率、质量评分
   核心要求：指标治理定期清理僵尸指标、合并重复指标

---

附录：指标体系建设检查清单

 北极星指标是否已明确定义且全公司认可？
 北极星到一级指标的驱动关系是否有数据验证？
 OEC 的子指标是否有明确的权重推导过程？
 OEC 是否经过了历史实验的回测验证？
 护栏指标是否覆盖了"四个不"和"两个确保"？
 护栏指标的  是否已适当放宽（建议 0.10）？
 核心指标的敏感度（CV）是否已经量化？
 是否使用了代理指标？如果是，是否经过验证？
 是否有指标体系用于诊断实验结论矛盾？
 所有指标是否已注册到统一的指标字典？
 指标字典是否有 Owner 和变更审批流程？
 是否定期审计指标的废弃和重复情况？