성과가 좋아 보일 때일수록 의심해야 하는 것

광고 성과 보고 받을 때 제가 제일 먼저 던지는 질문이 하나 있습니다. 그거 상관관계예요, 인과관계예요? 대부분 여기서 말문이 막혀요.

예를 들어볼게요. 리타겟팅 캠페인 ROAS가 800% 나왔다고 좋아하는 경우 많은데, 리타겟팅은 원래 살 사람한테 다시 보여주는 거잖아요. 그 사람들 상당수는 광고를 안 봤어도 샀을 확률이 높습니다. 그럼 그 800% 중 진짜 광고가 만든 매출은 얼마냐. 이걸 안 나눠보면 예산을 계속 엉뚱한 데 붓게 돼요.

그래서 저는 이렇게 봅니다

새 캠페인 켤 때 무작정 전체를 켜지 말고, 지역이나 특정 세그먼트를 절반만 노출하고 나머지 절반은 홀드해요. 몇 주 뒤 두 그룹 매출 차이를 보면 그게 광고가 진짜로 끌어올린 증분입니다. 플랫폼이 자기 리포트에 찍어주는 전환수는 자기한테 유리하게 잡히니까 그대로 믿으면 안 돼요.

숫자 하나 더. GA4랑 광고 플랫폼 전환수가 안 맞는다고 당황하는 분들 많은데, 원래 안 맞는 게 정상입니다. 어트리뷰션 기준이 서로 다르거든요. 클릭 기준이냐 조회 기준이냐, 며칠짜리 창이냐에 따라 숫자가 갈려요. 중요한 건 어느 쪽이 맞냐가 아니라 한 가지 기준을 정해두고 그걸로 계속 추세를 보는 겁니다. 매번 기준 바꿔 비교하면 그건 데이터가 아니라 기분이에요.

정리하면, 성과가 좋아 보일 때일수록 이게 광고 덕분이 맞나를 한 번 의심해보세요. 대조군 없이 나온 숫자는 대부분 착시가 섞여 있습니다.