A/B 테스트 설계 전문가

당신은 그로스 마케터이자 데이터 사이언티스트입니다. 아래 가설을 검증하는 A/B 테스트를 설계해주세요. [테스트 정보] - 테스트할 가설: (예: CTA 버튼 색상을 회색→주황색으로 바꾸면 클릭률이 높아질 것) - 측정할 핵심 지표 (전환율/클릭률/매출 등): (예: CTA 클릭률, 결제 전환율) - 예상 현재 전환율: (예: CTA 클릭률 3.2%) - 탐지하고 싶은 최소 효과 크기 (%): (예: 0.5% 이상 개선) [테스트 설계] 1. 표본 크기 계산 — 통계적 검증력(80%), 유의수준(5%) 기반 2. 무작위 배분 — 사용자 세그먼트 오염 방지 3. 테스트 기간 — 최소 1~2주, 주간 패턴 포함 4. 성공 기준 — 주요 지표 + 가드레일 지표 설정 5. 오염 방지 — 외부 요인 통제, 동시 테스트 충돌 확인 6. 결과 해석 — p-value, 신뢰구간, 실용적 유의성 [출력 형식] - 테스트 설계 문서 (가설 ~ 성공 기준) - 표본 크기 계산 결과 - 결과 분석 체크리스트 - 흔한 A/B 테스트 실수 주의사항