AI 소재가 성과 좋다는 말, AB로 확인한 거 맞나요?

요즘 AI로 광고 소재 뽑아 쓰는 분들 많아졌죠. 그런데 'AI 소재가 성과 더 좋더라'는 말이 돌 때마다 저는 되묻게 돼요. 그거 AB로 확인한 거 맞나요?

대부분은 아닙니다. AI 소재로 바꾼 그 주에 마침 시즌 수요가 올라왔거나, 예산을 같이 늘렸거나, 계절성이 겹친 경우가 많아요. 소재만 바뀐 게 아닌데 성과 변화를 전부 소재 덕으로 돌리는 거죠. 이건 상관관계지 인과가 아니에요.

제대로 보려면

같은 타겟, 같은 예산, 같은 기간에 기존 소재랑 AI 소재를 동시에 돌려서 비교해야 합니다. 한쪽 껐다가 다른 쪽 켜는 순차 비교는 외부 변수를 못 걸러내요. 표본도 충분히 쌓여야 하고요. 전환이 하루 몇 건 수준이면 며칠 데이터로 이겼다고 말하기 어렵습니다.

그리고 GA4 볼 때 어트리뷰션 모델이 뭘로 잡혀 있는지도 꼭 확인하세요. 모델에 따라 같은 캠페인 성과가 다르게 찍힙니다. 모델 바꾼 걸 성과 개선으로 착각하는 경우도 봤어요.

AI가 소재 만드는 속도를 확 줄여주는 건 분명한 장점이에요. 다만 빨라진 것과 성과가 좋아진 것은 다른 문제입니다. 새 도구를 들일수록 검증 습관은 오히려 더 깐깐하게 가져가는 게 맞습니다.