공식 스킬 · 제품

A/B 테스트 실험 계획

v1.0.0 · 2026년 11월 4일 업데이트

A/B 테스트 계획서를 쓴다. 가설, 핵심·가드레일 지표, MDE, 계산을 보여 준 표본 크기와 기간, 중단 규칙, 미리 정한 결정 규칙.

팀 포드에 추가하기

Claude, ChatGPT, 코딩 에이전트에서 쓸 수 있어요. Team, Business 요금제에서는 포드에 넣은 공식 스킬이 개선될 때마다 알아서 최신 버전으로 바뀌어요.

언제 쓰나요

페이지, 흐름, 이메일, 가격에 A/B 테스트를 시작하기 전
테스트를 얼마나 돌려야 하는지, 사용자가 몇 명 필요한지 질문을 받았다

AI에게 주는 것

테스트할 변경과 이유
핵심 지표의 기준값
테스트에 들어오는 주간 트래픽

받는 결과

가설, 지표 표, 표본 크기 계산, 기간, 중단 규칙, 출시 여부 규칙, 위험을 담은 한 페이지 실험 계획.

진행 방법

반증할 수 있는 가설을 쓴다 "[근거] 때문에, [대상]에게 [변경]을 하면 [핵심 지표]가 늘어날 것이라고 본다. [지표]가 [MDE] 이상 오르면 맞다고 판단한다." 근거가 없으면 그렇다고 쓴다. 그러면 탐색용 테스트가 된다.
핵심 지표 하나와 가드레일 1~3개를 고른다 핵심 지표가 테스트의 결과를 정한다. 가드레일은 나빠지면 안 되는 지표다: 환불, 수신 거부, 페이지 로딩 시간, 고객 문의. 테스트 기간 안에 변경이 움직일 수 있는 성과에 가장 가까운 지표를 핵심 지표로 고른다.
최소 검출 효과를 정한다 MDE는 테스트가 믿을 만하게 잡아낼 수 있는 가장 작은 변화다. 사업 쪽에서 정한다: 출시할 가치가 있는 가장 작은 개선 폭. MDE가 작을수록 표본은 훨씬 커진다.
표본 크기와 기간을 추정하고, 방법을 보여 준다 기본값: 유의수준(α) 5%, 검정력 80%. Statsig 같은 도구에서 흔히 쓰는 설정이다. 전환율이라면 에반 밀러(Evan Miller)의 어림 공식 n = 16 × p(1 − p) ÷ δ²를 변형마다 쓴다. p는 기준 전환율, δ는 절대 MDE다. 기간 = (n × 변형 수) ÷ 테스트에 들어오는 주간 사용자 수. 모든 요일이 들어가도록 주 단위로 올림한다. 출시 전에 계산기로 확인하고 그 이름을 적는다.
중단 규칙을 쓴다 결과가 유의해 보인다고 일찍 멈추지 않는다. 에반 밀러는 중간에 계속 들여다보면 거짓 양성이 늘어난다는 것을 보여 준다. 일찍 멈추는 것은 해가 될 때뿐이다: 지금 정해 둔 가드레일 기준을 넘었거나, 사용 경험이 깨졌을 때. 결과를 읽기 전에 카이제곱 검정으로 표본 비율 불일치(관측된 배분이 계획과 다름)를 확인한다. Microsoft의 실험팀은 모든 테스트가 이 점검부터 통과하도록 요구한다.
출시 전에 결정 규칙을 쓴다 결과별로 무엇을 할지 쓴다: 핵심 지표가 MDE를 넘고 가드레일이 깨지지 않으면 출시, 가드레일이 깨지면 출시하지 않음, 결론이 나지 않으면 기존안을 유지하고 배운 것을 기록. 누가 결정하는지 적는다.
위험과 결과 발표일을 적는다 새로움 효과, 계절성, 다른 테스트와의 겹침, 측정 누락. 결과 발표일은 회의 일정이 아니라 기간에서 정한다.

팀과 함께 쓰기

AI Skill Pod에 추가하면 외부 협력자를 포함해 팀원 모두가 자기 AI에서 같은 버전을 써요. 팀에서 AI 스킬을 공유하는 방법 읽기