캠페인 효과 '느낌상 좋은 것 같다' — 이게 결론이면 문제예요

회의할 때 "이번 캠페인 잘 된 것 같죠?"라는 말 많이 듣는데, 저는 항상 이 대목에서 걸려요.

'잘 된 것 같다'는 느낌으로 예산을 계속 쏟는 게, 데이터 분석 관점에서 보면 꽤 위험한 의사결정 방식이거든요. 같은 기간에 다른 변수도 많았을 텐데, 그 캠페인이 실제 원인인지 아닌지는 따로 검증이 필요해요. 상관관계인지 인과관계인지를 구분하는 게 기초인데, 이걸 넘어가는 경우가 생각보다 많아요.

AB 테스트를 항상 돌릴 수 없는 건 알아요. 예산도 시간도 제약이 있으니까요. 근데 그럼에도 "어떤 지표가 얼마나 달라졌고, 그게 이 캠페인 말고는 설명하기 어려운 이유"는 말할 수 있어야 한다고 봐요. 그 수준의 근거 정리가 안 되면 다음 번 예산 결정도 결국 느낌에 기대게 되거든요.

물론 완벽한 실험 설계를 매번 요구하는 게 아니에요. 다만 "우리가 지금 어느 수준의 확신으로 이 결론을 내리는 건지"는 팀 안에서 공유가 돼야 한다는 거예요. 좋게 보인다는 게 확인됐다는 건 아니니까, 근거를 조금이라도 정리해두면 반복 실수를 줄일 수 있어요.