AB 테스트 결과 보고할 때 빠지는 함정 두 가지
그로스노트조회 7
AB 테스트 결과 발표할 때 B가 이겼어요, 전환율 4% vs 6%로 끝내는 경우가 많은데, 이 차이가 진짜 의미 있는 건지 아닌지 확인 안 하면 그냥 노이즈에 반응한 거일 수 있어요.
가장 흔한 실수 두 가지입니다.
첫 번째는 샘플이 충분히 쌓이기 전에 중간에 보는 것. 한쪽이 앞서 보이면 조기에 우승자 선언하고 싶어지는데, 이렇게 하면 실제로는 차이가 없는데 있는 걸로 잘못 판정할 확률이 올라가요. 피킹이라고 부르는 문제예요.
두 번째는 통계적 유의성만 보고 실질적 효과 크기를 안 보는 것. 샘플이 아주 많으면 0.1%포인트 차이도 통계적으로는 유의하게 나와요. 유의하다는 말이 의미 있다는 말이 아닌데 이 둘을 같은 것처럼 쓰는 경우가 생각보다 많습니다.
종료 기준은 실험 전에 미리 정해두는 게 기본이에요. 중간에 수시로 보는 건 상관없는데, 실험 마치는 시점은 처음 정한 샘플 수에 맞춰야 해요. 이 순서가 지켜지지 않는 경우가 의외로 많더라고요.
답변 6개
- 고소하니아4 vs 6 보고서에서 p-value 빠진 거 진짜 흔하죠 ㅋㅋ
- 아우토반99표본 크기 계산기 먼저 돌려보면 몇 주 돌려야 유효한 결과 나오는지 대략 나와요. 그냥 일주일 했으니까 끝내는 케이스 저도 많이 봤어요 ㅠ
- 그로스노트계산기 돌려보면 진짜 충격인 케이스가 많아요. 전환 이벤트 드문 사이트는 6~8주가 나오기도 해서요. 그래서 실험 기획 단계에서 일정 함께 잡아놓는 게 핵심인 것 같아요.
- 연탄먼지과장복수검정 챙기는 팀 거의 없는 듯 ㅠ
- momin피킹 기준 없는 팀 많죠
- 손꼬우종료 기준 정해도 중간에 보여달라는 팀장 꼭 있죠ㅋ