우리 사이트 안 바꿨는데 AI 답변이 달라졌을 때 확인할 것들

브랜드 키워드로 AI한테 물어봤더니 저번 주에 해주던 말이랑 내용이 달라진 적 있으세요? 사이트를 바꾼 것도 없는데 AI 답변이 바뀌면 담당자 입장에서 진짜 당황스럽죠.

이런 현상이 생기는 원인은 크게 세 가지입니다.

• 모델 자체의 확률적 특성: AI는 정확히 같은 답을 뽑는 게 아니라 확률 기반으로 문장을 조합합니다. 동일한 질문을 여러 번 넣어도 매번 조금씩 달라지는 게 정상입니다.
• 플랫폼의 모델 업데이트: 서비스 제공사가 알고리즘을 개선하거나 새 데이터를 학습시키면 판단 기준 자체가 바뀝니다.
• 참조하는 검색 결과 변화: AI가 실시간 웹 검색도 참고한다면, 거기서 뽑히는 문서가 바뀌면 최종 답변도 달라집니다.

진단할 때는 변수를 하나씩 통제해야 합니다. 프롬프트를 바꿨으면 모델은 그대로, 모델을 바꿨으면 프롬프트는 기존 것 유지. 한 번에 여러 가지를 동시에 바꾸면 뭐가 원인인지 알 수가 없거든요.

장기적으로 관리하려면 우리 브랜드나 서비스 관련해서 자주 묻는 질문 20~50개를 고정 목록으로 만들어 두는 게 좋습니다. 이걸 기준점으로 삼아 정기적으로 체크하면 언제부터 바뀐 건지 파악이 됩니다.

일회성 캡처로 관리하면 나중에 변화 추이를 설명하기 어렵습니다. 엑셀이든 노션이든 질문·날짜·AI 답변 내용 세 칸짜리 단순한 표라도 남겨두는 게 훨씬 낫습니다.