官方技能 · 产品
A/B 测试方案
写一份 A/B 测试方案:假设、主要指标和护栏指标、MDE、附计算过程的样本量和时长、停止规则,以及事先定好的决策规则。
AI 技能
让 AI 设计一个结果可信的 A/B 测试
在你的 AI 中使用这个技能
免费 14 天 · 无需信用卡
可在 Claude、ChatGPT 和编程智能体中使用。在 Team 和 Business 套餐中,Pod 里的官方技能会在我们改进后自动更新到最新版。
适用场景
- 对页面、流程、邮件或价格上线 A/B 测试之前
- 有人问测试要跑多久、需要多少用户
你需要提供
- 要测试的改动及理由
- 主要指标的基线
- 每周进入测试的流量
你会得到
一页实验方案:假设、指标表、样本量计算、时长、停止规则、上线 / 不上线规则和风险。
工作方式
- 写一个可证伪的假设
- 选一个主要指标和 1 到 3 个护栏指标
- 设定最小可检测效应
- 估算样本量和时长,并写出计算方法
- 写停止规则
- 上线前写好决策规则
- 列出风险和结果解读日期
示例
交给 AI 的内容
我们想测试一个更短的注册表单(3 个字段,而不是 7 个)。定价页访客的注册率是 4%。每周大约 6,000 名访客。如果能提升 1 个百分点,我们就上线。
得到的结果(开头部分)
实验方案:精简注册表单
负责人: [姓名] · 决策人: [姓名] · 开始: [日期] · 结果解读: 开始后 3 周
假设
基于 [待确认:依据,例如表单分析显示用户在第 4 个字段流失],我们认为对定价页访客使用 3 个字段的注册表单会提高注册率。如果注册率至少提升 1 个百分点(从 4% 到 5%),就说明假设成立。
版本
- 对照版: 7 个字段的表单
- 版本 B: 3 个字段的表单(邮箱、密码、公司名称 [待确认])
- 分流: 50/50 · 人群: 定价页的新访客;已登录用户排除在外
这份结果的其余部分、完整步骤以及 AI 回答前做的检查,在你把技能添加到 Pod 后即可使用。
在你的 AI 中使用这个技能与团队共享
把它添加到 AI Skill Pod,团队里的每个人(包括外包人员)都能在自己的 AI 中使用同一个版本。 了解与团队共享 AI 技能的最佳方式
更新记录
- v1.0.0 · · First release.
参考来源
- How Not To Run an A/B Test - Evan Miller (2026-11-04 查阅)
- Power Analysis - Statsig Docs (2026-11-04 查阅)
- Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (2026-11-04 查阅)