官方技能 · 产品

A/B 测试方案

写一份 A/B 测试方案:假设、主要指标和护栏指标、MDE、附计算过程的样本量和时长、停止规则,以及事先定好的决策规则。

AI 技能

让 AI 设计一个结果可信的 A/B 测试

在你的 AI 中使用这个技能

免费 14 天 · 无需信用卡

可在 Claude、ChatGPT 和编程智能体中使用。在 Team 和 Business 套餐中,Pod 里的官方技能会在我们改进后自动更新到最新版。

适用场景

你需要提供

你会得到

一页实验方案:假设、指标表、样本量计算、时长、停止规则、上线 / 不上线规则和风险。

工作方式

  1. 写一个可证伪的假设
  2. 选一个主要指标和 1 到 3 个护栏指标
  3. 设定最小可检测效应
  4. 估算样本量和时长,并写出计算方法
  5. 写停止规则
  6. 上线前写好决策规则
  7. 列出风险和结果解读日期

示例

交给 AI 的内容

我们想测试一个更短的注册表单(3 个字段,而不是 7 个)。定价页访客的注册率是 4%。每周大约 6,000 名访客。如果能提升 1 个百分点,我们就上线。

得到的结果(开头部分)

实验方案:精简注册表单

负责人: [姓名] · 决策人: [姓名] · 开始: [日期] · 结果解读: 开始后 3 周

假设

基于 [待确认:依据,例如表单分析显示用户在第 4 个字段流失],我们认为对定价页访客使用 3 个字段的注册表单会提高注册率。如果注册率至少提升 1 个百分点(从 4% 到 5%),就说明假设成立。

版本

  • 对照版: 7 个字段的表单
  • 版本 B: 3 个字段的表单(邮箱、密码、公司名称 [待确认])
  • 分流: 50/50 · 人群: 定价页的新访客;已登录用户排除在外

这份结果的其余部分、完整步骤以及 AI 回答前做的检查,在你把技能添加到 Pod 后即可使用。

在你的 AI 中使用这个技能

与团队共享

把它添加到 AI Skill Pod,团队里的每个人(包括外包人员)都能在自己的 AI 中使用同一个版本。 了解与团队共享 AI 技能的最佳方式

更新记录

参考来源

  1. How Not To Run an A/B Test - Evan Miller (2026-11-04 查阅)
  2. Power Analysis - Statsig Docs (2026-11-04 查阅)
  3. Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (2026-11-04 查阅)
在你的 AI 中使用这个技能