마케팅 성과가 좋아졌다고 전략이 맞은 거 아닙니다
그로스노트조회 1
비교군 없이 뭔가 바꾼 후에 숫자가 올랐을 때, '이 전략이 효과 있었다'라고 하는 경우를 자주 봐요.
근데 그게 진짜 그 전략 때문인지, 계절 영향인지, 그냥 원래 올라갈 타이밍이었는지 어떻게 구분할 수 있을까요. 상관관계인지 인과관계인지 따지지 않으면 나중에 재현이 안 됩니다.
최소한 A/B 테스트를 설계하거나 비교 가능한 기간을 놓고 봐야 하는데, 현실적으로 어렵다는 건 압니다. 그래도 그 구분 없이 '됐어'를 반복하다 보면 어느 순간 왜 안 되는지 모르게 돼요.
데이터는 쌓이는데 판단 기준이 없으면 그냥 숫자 창고입니다.
답변 11개
- 메리ii대리저도 이게 항상 아슬아슬한 지점이라고 생각해요. 저희 팀도 한번은 메인 배너 바꾸고 일주일 만에 클릭률이 올랐는데, 사실 그 주에 경쟁 키워드 상위 업체 하나가 광고를 내렸던 게 실제 이유였더라고요. 나중에서야 알았지만요. 비교 기준이 없으면 그냥 '이게 맞는 방향'이라고 굳어버리는 게 제일 무서운 것 같아요.
- 그로스노트그게 딱 그 케이스예요. 클릭률 변화랑 외부 트래픽 증가가 같은 기간에 겹치면 원인 분리가 어려워지거든요. 기간별 외부 변수를 별도로 기록해두면 나중에 비교할 수 있어요.
- 손꼬우스타트업에서 이걸 제대로 하려면 진짜 어렵긴 해요. 트래픽이 적으면 A/B 결과 자체가 의미 없고, 두 버전 동시에 굴리면 예산 반으로 쪼개지니까요. 그래도 '지난 4주 vs 이번 4주' 같은 기간 비교 정도는 최소 기준으로 잡는 게 맞는 것 같아요. 완벽한 실험 아니더라도 그 기간에 뭐가 달랐는지 기록이라도 남겨야 나중에 판단이 되니까요.
- 연탄먼지과장예산이 어느 정도세요? 그거에 따라 접근이 달라지거든요.
- 장사9단저는 마케팅 성과가 좋아졌다고 전 이런 거 그냥 직접 해보면서 배웠어요. 이론보다 몸으로 익히는 게 훨씬 빠르거든요.
- 준플플우작년에 마케팅 채널 바꿨더니 전환이 올랐는데, 나중에 보니 그 기간 검색량 자체가 시즌 효과로 올라가 있었어요. 당시엔 채널 전환이 효과 있었다고 보고했는데... 지금 생각하면 검증이 안 된 결론이었던 거죠.
- 밈민SNS 광고 올렸을 때 주문이 갑자기 늘어서 좋아했는데, GA4 들어가서 채널별 소스 분포 보니까 그 기간에 인플루언서 계정 하나에서 자연 트래픽이 대거 들어온 거였어요. 광고 성과로 보고하려다 아찔했죠. 이후로 수치가 갑자기 변하면 같은 기간 외부 유입 경로부터 확인하는 버릇이 생겼어요.
- 마릴블루왕광고 예산 줄였는데 전환이 거의 안 줄어서 예산 낭비였나 싶었는데, 나중에 알고 보니 그 기간에 블로그 바이럴이 터져서 자연 유입이 대신 받쳐주고 있었어요. 하마터면 광고 의존도 줄이는 쪽으로 방향 틀 뻔했는데, 변수가 겹쳤던 거더라고요. 보통 잘 됐다고 느끼는 타이밍에 오히려 의심해봐야 하는 것 같아요.
- 겸사랑서A/B 돌리다가 외부 변수에 낚인 케이스 저도 있었는데, 그 기간 경쟁사가 갑자기 캠페인 끊어서 우리 쪽으로 검색이 몰린 거였어요. 결과 보고 신나서 승인 올렸다가 다음 달에 원상복귀되고ㅋㅋ 그 뒤로 테스트 기간 중에 업계 이슈 같이 기록해두는 게 습관이 됐어요
- iwpark반대 경우도 있죠. 숫자가 안 올랐는데 전략이 맞을 때. 브랜드 초기 인지도 캠페인 돌렸을 때 ROAS가 형편없어서 다들 틀렸다고 했는데, 6개월 뒤에 리타게팅 효율이 확 올라왔어요. 근데 그때 이미 캠페인 접어서 연결하는 사람이 없었죠
- 몽몽서채널별 기여도를 제대로 보는 팀이 실제로 몇이나 될까요... 저는 GA4 last click 기여 모델로만 판단하다가 어시스트 채널 통째로 끊었던 기억이 ㅠ 나중에 data-driven으로 바꿔보니까 잘리면 안 됐던 채널이었고