한눈에 보는 핵심 5가지
- AI 에이전트가 밤새 반복 업무를 처리하는 회사는 사람의 시간이 아니라 학습 속도에서 앞서요. 진짜 차이는 매일 얼마나 빨리 배우느냐에서 벌어져요.
- 첫 단계는 지난 2주간 반복한 업무를 모두 적어 보는 거예요. 보통 20~40개가 쌓여 있고, 그중 자주 하면서 되돌릴 수 있는 일부터 맡겨요.
- 모델은 매달 바뀌고 서로 비슷해지기 때문에, 회사만의 진짜 자산은 AI가 읽을 수 있게 정리해 둔 회사 맥락과 채점 기준이에요.
- 결과물을 좋음·나쁨으로 채점하는 평가 체계가 있어야 자율성을 넓힐 수 있어요. 수용률이 약 70%에 못 미치면 아직 권한을 키울 때가 아니에요.
- 매주 잘된 점과 사람이 손댄 지점을 점검하는 개선 루프가 회사를 복리로 키워요. 이 루프가 멈추는 순간 성장도 같이 멈춰요.
같은 시장에서 같은 달에 문을 연 두 회사가 있어요. 오전 9시, 한 회사는 밀린 고객 문의를 붙잡고 지난주 대시보드를 다시 그리느라 바빠요. 다른 회사는 그 일을 밤사이 AI 에이전트가 끝내 둬서, 창업자가 이미 문제를 고치고 제품을 손보고 있어요. 두 회사를 가른 건 사람 수가 아니라 매일 배우는 속도예요.
반복 업무를 지도로 그리는 것부터 시작해요
AI를 도입하는 첫걸음은 거창한 도구가 아니라, 우리 팀이 매주 반복하는 일을 빠짐없이 적어 보는 일이에요.
지난 2주를 돌아보면 고객 통화 정리, 리드 리서치, 아웃바운드 메일 초안, 경쟁사 모니터링처럼 똑같은 모양으로 되풀이되는 일이 보여요. 보통 이런 항목이 20~40개씩 쌓여 있고, 솔직히 적어 보면 이미 루틴이 된 일 10~15개가 금방 드러나요. 다만 여기서 전부 맡기면 안 돼요. 자주 일어나면서 결과를 되돌릴 수 있는 일부터 골라야 하고, 사람만 해야 하는 전략과 최종 결정은 그대로 둬요.
맡길 일을 고를 때는 자율성을 네 단계로 나눠 보면 편해요. 사람만 하는 일, AI가 초안을 쓰고 사람이 승인하는 일, AI가 실행하고 사람이 지켜보는 일, 정해진 한계 안에서 AI가 알아서 하는 일이에요. 실제로 물류 기업 C.H. 로빈슨은 하루 1만 건에 이르는 이메일 분류를 가장 높은 자율 단계로 올렸다가, 잘못 분류된 걸 사람이 다 살피기 어려워지자 한 단계 낮춰 사람 승인 단계로 되돌렸어요. 양이 많을수록 실수의 대가도 같이 커지거든요.
AI가 우리 회사를 알게 만드는 맥락 시스템
맥락 시스템은 회사가 자신에 대해 아는 모든 것을 AI가 읽을 수 있는 곳에 모아 둔 운영 기억이에요.
AI가 내놓은 결과물을 고치는 데 검토보다 더 오랜 시간이 든다면, 문제는 대개 프롬프트가 아니라 에이전트가 우리 회사를 충분히 모른다는 데 있어요. 그래서 제품·고객·가격·지난 교훈 같은 회사 정보를 짧고 또렷한 문서로 정리해 한곳에 둬요. 손으로 쓴 40~60줄짜리 정리가, 자동으로 길게 뽑아낸 400줄짜리 잡문보다 훨씬 쓸모 있어요. 모델은 매달 바뀌고 서로 닮아가지만, 이렇게 쌓은 맥락은 다른 회사가 베낄 수 없는 우리만의 자산이거든요.
이 맥락에는 권한 경계와 안전장치가 꼭 따라와야 해요. 블록(Block)이 쓰는 내부 도구 구스(Goose)는 역할마다 읽을 수 있는 범위를 나눠 두는데, 그 범위가 어긋나는 순간 공개해도 되는 정보와 비공개 거래 정보가 섞이기 시작해요. 2025년 중반에는 한 코딩 에이전트가 작업 도중 운영 데이터베이스를 통째로 지운 리플릿(Replit) 사고도 있었어요. 프롬프트로 적어 둔 금지 문구는 보안 경계가 아니라는 걸 보여 준 사건이죠.
맥락을 잘 정리하면 비용도 줄어요. 앤트로픽(Anthropic)은 필요한 도구 설명을 미리 다 불러오는 방식 대신 필요한 순간에만 꺼내 쓰는 구조로 바꿔, 한 작업에 쓰던 맥락을 약 15만 토큰에서 약 2천 토큰으로 줄였어요. 98.7%를 아낀 셈이에요. 마케팅 팀이라면 브랜드 가이드, 자주 나오는 고객 반론, 지난 캠페인 결과부터 한 문서에 모아 두는 게 좋은 출발점이에요.
결과물을 채점하는 평가 기준이 진짜 실력이에요
평가 기준은 AI가 내놓은 결과가 좋은지 나쁜지를 사람이 미리 정해 둔 채점표예요.
여기까지는 준비 운동이고, 회사를 매주 조금씩 키우는 진짜 엔진은 반복 업무를 정해진 절차로 만들어 두고 그 결과를 채점하는 일이에요. 채점은 보통 세 겹으로 쌓아요. 먼저 사람이 좋은 결과의 예시를 직접 표시하고, 다음으로 숫자가 맞는지·링크가 열리는지처럼 기계가 바로 판정할 수 있는 검사를 두고, 마지막으로 글의 품질이나 분위기처럼 기계가 못 잡는 부분만 작은 AI가 판정해요. 이 채점표가 있어야 AI에게 맡기는 범위를 자신 있게 넓힐 수 있어요.
넓힐 때가 됐는지는 수용률로 봐요. 사람이 거의 고치지 않고 그대로 받아들이는 비율이 약 70%에 못 미치면, 아직 자율성을 올릴 때가 아니에요. 이때 프롬프트만 다시 쓰는 건 대개 답이 아니고, 회사 맥락을 더 주거나, 맡기는 범위를 좁히거나, 잘된 예시를 더 넣는 쪽이 효과적이에요. 고객 통화 정리 기능은 과거 통화 30건, 리드 분류 기능은 과거 리드 300건 정도를 사람이 채점해 두는 데서 출발해요.
채점표가 갖춰지면 재미있는 일이 생겨요. 지이피에이(GEPA)나 디에스파이(DSPy) 같은 도구가 채점 결과를 보고 밤사이 프롬프트를 스스로 고쳐 가거든요. 사람은 최종 프롬프트를 읽지도 않고, 오직 채점 결과만 챙기면 돼요. 결국 발목을 잡는 건 AI의 능력이 아니라, 무엇이 좋은 결과인지 또렷하게 정해 둘 수 있느냐예요.
매주 돌리는 개선 루프가 복리를 만들어요
개선 루프는 매주 잘된 점과 실패한 점을 되짚어 운영 방식을 조금씩 손보는 정기 점검이에요.
잘 굴러가는 팀은 매주 여섯 가지 숫자를 같이 봐요. 사람이 그대로 받아들인 비율, 사람이 뒤집은 비율, 한 번 실행에 드는 비용, 일이 끝나는 데 걸린 시간, 검토에 쓴 시간, 사고 건수예요. 이 숫자를 보면서 어디에 맥락이 빠졌는지, 어떤 일은 범위를 좁혀야 하는지, 어떤 일은 자율성을 올려도 되는지를 정해요. 이렇게 매주 같은 점검을 반복하는 규율이, 천재 한 명이나 큰 팀보다 회사를 더 빨리 키워요.
여기에는 절대 양보하지 않는 두 가지 규칙이 따라와요. 어떤 코드도 사람 검토 없이 자동으로 합쳐지지 않고, 어떤 에이전트도 운영 환경에 함부로 쓰지 않는다는 거예요. 대규모 자율 에이전트를 돌리는 커서(Cursor)조차 2026년 초까지 코드를 합치기 전 사람이 보는 단계를 남겨 뒀어요. 이 한 단계가 나머지를 안심하고 넓힐 수 있게 해 줘요.
팀에 퍼뜨릴 때는 리더가 먼저 써 보는 게 가장 빨라요. 잭 도시는 2025년 내내 매일 아침 이 도구들을 직접 다뤄 본 뒤 블록을 크게 개편했어요. 결제 기업 램프(Ramp)는 새 직원이 들어올 때마다 그날 바로 쓸 수 있는 결과물 하나와 새 기능 하나를 공유 창고에 더하게 했더니, 이 방식의 하루 사용자가 석 달 만에 20명에서 약 700명으로 늘었어요. 배운 걸 그날 결과물로 만들지 못하는 교육은 다음 주면 잊히거든요.
자주 묻는 질문
Q. 작은 회사나 1인 팀도 이 방식을 쓸 수 있나요?
A. 오히려 인원이 적을수록 효과가 커요. 거창한 시스템 없이 회사 정보를 적은 문서 한 장과 자주 반복하는 업무 세 가지로 시작하면 돼요. 핵심은 도구의 크기가 아니라 매주 같은 점검을 반복하는 규율이에요.
Q. 마케팅 업무 중에는 무엇부터 맡기는 게 좋을까요?
A. 자주 반복되고 결과를 되돌리기 쉬운 일이 1순위예요. 리드 리서치, 경쟁사 모니터링, 고객 통화 정리, 주간 지표 정리가 여기에 들어가요. 반대로 브랜드 방향을 정하거나 큰 예산을 쓰는 결정은 사람이 쥐고 있어야 해요.
Q. AI에게 일을 맡기면 사람이 할 일이 줄어드나요?
A. 줄기보다 역할이 바뀌어요. 실행은 AI가 맡고, 사람은 방향을 정하고 결과를 판단하고 책임을 지는 쪽으로 옮겨가요. 좁은 작업만 반복하던 사람은 부담이 커지지만, 무엇이 좋은 결과인지 기준으로 만들 줄 아는 사람은 전보다 더 귀해져요.
Q. 채점표를 만드는 데 시간이 너무 오래 걸리지 않나요?
A. 처음엔 과거 사례 수십 건을 사람이 좋음·나쁨으로 표시하는 품이 들어요. 하지만 한 번 만들어 두면 AI가 그 기준에 맞춰 스스로 다듬어 가기 때문에, 매주 손으로 검토하던 시간이 빠르게 줄어들어요. 채점표는 한 번 쓰고 버리는 게 아니라 계속 쌓이는 자산이에요.
마케팅 팀이 오늘 시작할 수 있는 가장 작은 걸음
거창하게 조직을 갈아엎을 필요는 없어요. 이번 주에 반복한 마케팅 업무를 종이 한 장에 적어 보고, 그중 자주 하면서 되돌리기 쉬운 일 하나를 골라 보세요. 그 일을 어떻게 했을 때 좋은 결과인지 예시 몇 개로 적어 두면, 그게 바로 첫 채점표가 돼요. 다음 주에 잘된 점과 아쉬운 점을 다시 점검하면, 작지만 멈추지 않는 개선 루프가 시작돼요. 모두가 같은 AI 모델을 쓰는 시대에 우리 팀을 다르게 만드는 건, 결국 이렇게 쌓아 둔 운영 방식이에요.
