A/B 테스트 결과에 '유의미'라고 떠도 진짜 다 믿으세요?
그로스노트조회 13
A/B 테스트 보고서에 '전환율 23% 상승, 통계적 유의미'라고 적혀있으면 보통 그냥 넘어가는데요. 실제로 몇 가지 더 확인 안 하면 잘못된 해석이 될 수 있어요.
가장 흔한 실수가 샘플 사이즈를 너무 작게 잡는 거예요. 트래픽 적은 랜딩에서 1~2주 돌린 결과로 '유의미'가 나와도 신뢰구간이 너무 넓어서 실제 효과가 있는지 없는지 판단이 안 돼요. 검정력(power) 80% 기준으로 필요한 샘플 수 계산을 실험 전에 먼저 해야 합니다.
두 번째는 여러 지표 동시에 보다가 좋아 보이는 것만 골라서 보고하는 경우. 10개 지표 중 하나가 우연히 좋게 나올 확률은 생각보다 높거든요. 실험 전에 주요 지표 하나 정해두고 그것만 봐야 합니다.
상관이랑 인과도 다른 얘기고, 전환율 올랐다고 매출이 같이 올랐다는 보장도 없어요. 그거 AB로 확인했냐고 물어보면 멈칫하는 경우가 생각보다 많더라고요.
답변 4개
- 짬뽕토큰AE1~2주에 전환율 23% 올랐다고 팀 전체가 환호하던 거 봤는데... 샘플이 얼마였는지는 아무도 안 물어보더라고요 ㅋㅋ
- 그로스노트검정력 계산 먼저 하는 팀 거의 없어요. 목표 효과 크기 정하고 샘플 수 역산하면 딱 나오는 건데, '1~2주 돌려보자'로 시작하면 p<0.05 뜬다 해도 신뢰하기 어렵죠
- 고소하니까님다중비교 공감해요. 지표 10개 중 좋아 보이는 것만 골라 하이라이트해 오는 리포트 받을 때, 원래 주요 지표 뭐로 정했냐고 물으면 대부분 멈추더라고요
- 여름엔강릉맨인과까지 확인하는 건 맞는데, 트래픽 적은 곳에선 현실적으로 어려운 게 맞아요