公式スキル · プロダクト
A/Bテストの実験計画
仮説、主要指標とガードレール指標、MDE、計算つきのサンプルサイズと期間、停止ルール、事前に決めた判定ルールをまとめたA/Bテストの計画書を書く。
AI スキル
AI に、信頼できる A/B テストを設計させる
このスキルを AI で使う
14日間無料・カード不要
Claude・ChatGPT・コーディング用の AI で使えます。TeamとBusiness では、ポッドに入れた公式スキルが改善のたびに自動で最新版になります。
使う場面
- ページ、導線、メール、価格のA/Bテストを始める前
- テストを何週間回すか、何人必要かを聞かれた
AI に渡すもの
- テストする変更とその理由
- 主要指標のベースライン
- テストに入る週あたりのトラフィック
できあがるもの
仮説、指標の表、サンプルサイズの計算、期間、停止ルール、リリースするかどうかの判定ルール、リスクをまとめた1枚の実験計画。
手順
- 反証できる仮説を書く
- 主要指標を一つ、ガードレールを1〜3個選ぶ
- 最小検出効果を決める
- サンプルサイズと期間を見積もり、計算方法を示す
- 停止ルールを書く
- 判定ルールを始める前に書く
- リスクと結果の読み出し日を挙げる
例
AI に渡すもの
登録フォームを短くするテストをしたい(7項目から3項目に)。登録率は料金ページの訪問者の4%。訪問者は週に約6,000人。1ポイント上がればリリースする。
返ってくるもの(冒頭)
実験計画:短い登録フォーム
担当: [氏名] · 判断する人: [氏名] · 開始: [日付] · 読み出し: 開始から3週間後
仮説
[要確認: 根拠。例:フォーム分析で4項目目の離脱が多い]から、料金ページの訪問者に3項目の登録フォームを出すと登録率が上がると考える。登録率が1ポイント以上(4%から5%に)上がれば正しいと判断する。
パターン
- 対照(A): 7項目のフォーム
- パターンB: 3項目のフォーム(メールアドレス、パスワード、会社名 [確認予定])
- 割り振り: 50/50 · 対象: 料金ページの新規訪問者。ログイン中のユーザーは除く
この続き、すべての手順、AI が答える前に行うチェックは、スキルをポッドに追加すると使えます。
このスキルを AI で使うチームで使う
AI Skill Pod に追加すると、業務委託の方も含めてチーム全員が、自分の AI から同じ版を使えます。 AI スキルをチームで共有する方法を読む
変更履歴
- v1.0.0 · · First release.
出典
出典は英語のページです。
- How Not To Run an A/B Test - Evan Miller (2026-11-04に確認)
- Power Analysis - Statsig Docs (2026-11-04に確認)
- Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (2026-11-04に確認)