A/B 测试基本概念详解

本文从零开始，系统讲解 A/B 测试的核心概念：是什么、怎么分层、怎么分流、以及所有你需要知道的基础术语。适合作为实验平台新人的第一份阅读材料。

一、什么是 A/B 测试

1.1 为什么需要 A/B 测试

不用 A/B 测试的常见误区：

1.2 A/B 测试 vs 其他实验方法

1.3 完整生命周期

一个 A/B 实验从提出到上线，完整的流程如下：

二、A/B 测试的核心要素

每个实验都可以拆解为四个基本维度：

实验 = 人群 × 策略 × 指标 × 时间

  人群（Who）      哪些用户参与实验？
  策略（What）     改变了什么？（UI、算法、定价...）
  指标（How）      用什么衡量效果？
  时间（When）     实验运行多久？

2.1 实验单元（Experimentation Unit）

2.2 实验组设计

当有多个候选策略时，可以设置多个实验组（A/B/N）：

Control:      基准策略
Treatment A:  策略变体 A
Treatment B:  策略变体 B
Treatment C:  策略变体 C

三、分流机制详解

3.1 哈希分流算法

业界最通用的做法是基于哈希函数的分流，核心公式：

$$bucket = Hash(salt + user\_id + layer\_id) \ \% \ N$$

参数说明：

• salt — 固定随机种子，防止被逆向
• user_id — 用户唯一标识
• layer_id — 实验所在的层 ID
• N — 总分桶数（如 10000，每桶代表 0.01% 流量）

3.2 哈希 vs 随机数

3.3 分桶与分配

                 用户请求
                     |
                  哈希计算
                  bucket ∈ [0, N)
                     |
               查分桶映射表
                   │
          ┌────────┴────────┐
      桶 0-999          桶 1000-1999
      对照组             实验组
      50%                50%

实际配置示例：

{
  "experiment_id": "exp_001",
  "layer_id": "layer_homepage",
  "buckets": [0, 9999],
  "groups": [
    {"name": "control",   "range": [0, 4999],    "ratio": 0.50},
    {"name": "treatment", "range": [5000, 9999], "ratio": 0.50}
  ]
}

3.4 分流一致性

3.5 灰度分流

新策略不应一次全量上线：

实验期（1-2 周）  │  灰度期（1-2 周）  │  全量期
                  │                    │
    5% 流量       │  10%→30%→50%      │  100%
                  │                    │
   · 验证策略有效  │  · 验证系统稳定性   │  全量上线
                  │  · 验证网络效应     │
                  │  · 业务指标确认     │

四、分层机制详解

4.1 为什么需要分层

产品团队同时需要多个实验（首页改版 + 推荐算法 + 定价策略），分层将流量空间切成多层，每层给一个实验使用：

用户流量（100%，10000 个桶）

  Layer 1：首页实验 → 100% 流量，control: 0-4999 / treatment: 5000-9999
  Layer 2：推荐实验 → 100% 流量，control: 0-4999 / treatment: 5000-9999
  Layer 3：定价实验 → 100% 流量，control: 0-4999 / treatment: 5000-9999
  Layer 4：空闲保留

4.2 独占层 vs 正交层

4.3 层间干扰

4.4 典型分层架构

Layer 1：独占层 — 核心策略（定价、会员）
  流量 100%  |  实验数 1  |  隔离：独占

Layer 2：正交层 — UI/交互（按钮、布局、文案）
  流量 100%  |  实验数多个  |  隔离：正交

Layer 3：正交层 — 算法策略（推荐、搜索、Feed）
  流量 100%  |  实验数多个  |  隔离：正交

Layer 4：正交层 — 运营策略（优惠券、推送、弹窗）
  流量 100%  |  实验数多个  |  隔离：正交

Layer N：保留层 — 临时实验、紧急测试

五、流量分配模型

5.1 三种分配模式

5.2 决策框架

该实验和其他运行中的实验有交互风险吗？
  ├─ 是 → 独占层，排队运行
  └─ 否 → 需要多少流量？
          → 根据 Power Analysis 计算最小样本量
          → 加 20-30% 缓冲（考虑数据质量问题）
          → 在正交层中分配相应比例流量

5.3 并行容量

$$并行实验数 = \frac{正交层数 \times 每层平均实验数}{1} + 独占层数$$

一个拥有 3 个正交层（每层 100% 流量，每个实验平均占 10% 流量）的系统，理论上可以同时运行 $3 \times 10 = 30$ 个小流量实验。

六、核心术语表

6.1 实验设计术语

6.2 统计分析术语

6.3 实验质量术语

6.4 分流量化指标

七、Feature Flag 与 A/B 测试的关系

# 传统方式：代码部署即生效，风险不可控
def homepage():
    return render_new_homepage()

# Feature Flag 方式：开关控制，随时可关，秒级生效
def homepage():
    if feature_flag.is_enabled("new_homepage", user_id):
        return render_new_homepage()
    else:
        return render_old_homepage()

传统上线：
  写代码 → 部署 → 所有人立刻看到新功能
                    → 出问题只能回滚（慢，影响范围大）

Feature Flag 上线：
  写代码（包在 if 里）→ 部署 → 通过配置逐步打开
                              → 随时可关，秒级生效

7.1 Feature Flag vs A/B 测试

7.2 职责边界

Feature Flag 分流：
  user_id → Flag 配置 → ON / OFF
  目的：控制谁能看到某个功能
  结果：用户看到的是"新功能"还是"老功能"
  场景：灰度发布、紧急关停、运营开关

A/B 实验分流：
  user_id → 分层哈希 → 对照组 / 实验组
  目的：将用户随机分配到无偏的对比组
  结果：分析"新功能"相比"老功能"的因果效应
  场景：策略效果验证

7.3 协同工作流

1. 开发新功能 → 用 Feature Flag 包裹代码
2. 先开 1% 流量 → 确认无技术问题（纯 Flag 阶段）
3. 开 10% 流量 → 启动 A/B 测试（Flag + 实验阶段）
     5% 对照组（Flag = OFF）→ 老体验
     5% 实验组（Flag = ON） → 新体验
4. 实验显著 + 护栏指标正常 → 逐步放量 50% → 100%
5. 全量稳定运行 2 周 → 移除 Flag 代码（清理 if 判断）
                                     ↑
                           这一步常被遗忘，导致代码腐烂

7.4 典型使用场景

7.5 业界实现模式

附录：典型 A/B 实验配置

{
  "experiment_id": "exp_homepage_redesign_2026",
  "name": "首页改版实验",
  "hypothesis": "简化首页布局可以提高核心区域的点击率",
  "owner": "growth_team",
  "layer_id": "layer_homepage",
  "layer_type": "exclusive",
  "traffic_percentage": 10,
  "buckets_total": 10000,
  "groups": [
    {
      "name": "control",
      "description": "当前首页",
      "bucket_range": [0, 4999],
      "ratio": 0.50
    },
    {
      "name": "treatment",
      "description": "简化版首页",
      "bucket_range": [5000, 9999],
      "ratio": 0.50
    }
  ],
  "metrics": {
    "primary": "ctr_core_module",
    "secondary": ["avg_session_duration", "bounce_rate"],
    "guardrail": ["page_load_time", "crash_rate", "complaint_rate"]
  },
  "parameters": {
    "mde": 0.02,
    "alpha": 0.05,
    "power": 0.80,
    "min_sample_size_per_group": 50000,
    "estimated_duration_days": 14
  }
}

关键要点总结