토큰 한도에 AI 프로젝트가 막혔을 때 쓰는 재설계 전략 3가지: 기업 89%가 겪은 문제

기업 89%가 토큰 때문에 AI를 재설계했다는 조사는 무엇인가?

데이터 플랫폼 기업 클라우데라가 발표한 설문 보고서다. 9개국 IT 리더와 의사결정권자 1,500명 중 89%가 토큰 사용량 증가로 AI 활용 사례를 이미 제한하거나 재설계했다고 답했다. 전 세계 기업 전체의 통계가 아니라 응답자 비율이다.

디지털경제뉴스가 2026년 11월 4일 전한 내용에 따르면 보고서 제목은 '2026 기업용 AI 현황: 확장의 새로운 규칙'이다. 해외 매체 iTWire와 Techstrong.ai는 설문을 웨이크필드 리서치가 클라우데라 의뢰로 2026년 9월에 수행했다고 전했다. 89% 외에 실무자가 볼 만한 수치는 다음과 같다.

• 45%: 비용 상승이나 변동성에 대응해 AI 워크로드를 다른 클라우드, 프라이빗 환경, 온프레미스로 옮겼다
• 40%: 처리 빈도, 모델 크기, 컨텍스트 크기, 출력량 중 하나 이상을 줄였다 (Techstrong.ai 보도)
• 24%: AI 활용 사례를 일시 중단하거나 취소했다 (Techstrong.ai 보도)
• 19%: 비용을 상시 모니터링한다. AI 비용을 처음부터 끝까지 매우 정확하게 측정할 수 있다는 응답은 27%다
• 98%: 장애, 환각, 예기치 않은 동작으로 AI 배포를 한 번 이상 철회한 적이 있다

국내 응답은 결이 다르다. 국내 기업의 72%가 1년 전보다 AI 투자를 늘렸고, 확장을 막는 요인으로는 거버넌스와 컴플라이언스(62%), 데이터 주권(56%)이 앞에 왔다. 토큰 비용과 AI 추론을 꼽은 비율은 40%였다. 국내에서는 아직 비용이 첫 번째 걸림돌은 아니지만, 열 곳 중 네 곳은 이미 그 문제를 겪고 있다는 뜻이다.

토큰 단가는 내리는데 왜 한도에 걸리나?

쓰는 양이 단가 하락보다 빨리 늘기 때문이다. 에이전트는 한 작업에서 모델을 여러 번 호출하고, 호출마다 지금까지의 맥락을 다시 읽는다. 사용량이 예산을 넘으면 회사는 상한을 걸고, 실무자는 그 상한을 한도로 만난다.

간단한 산수로 보면 구조가 보인다. 지시문과 참고 자료를 합쳐 3,000토큰인 프롬프트를 하루 200번 호출하면 입력만 하루 60만 토큰이다. 지시문을 1,000토큰으로 줄이면 20만 토큰이 된다. 모델도 단가도 그대로인데 사용량이 3분의 1이 된다. 이 숫자는 설명을 위한 가정이지만, 반복 호출에서는 한 번의 길이가 전체 사용량을 정한다는 점은 어느 팀에나 적용된다.

보고서에서 40%가 택한 방법이 바로 이 방향이다. 처리 빈도, 모델 크기, 컨텍스트 크기, 출력량을 줄였다. 워크로드를 다른 환경으로 옮기는 일은 IT 조직의 몫이지만 컨텍스트와 출력량을 줄이는 일은 프롬프트를 쓰는 사람이 할 수 있다. Techstrong.ai는 클라우데라 제품 마케팅 수석 부사장 제프 힐리의 말을 이렇게 전했다. 모든 일에 AI를 쓸 필요는 없다는 것이다.

토큰 한도는 AI를 덜 쓰라는 신호가 아니라 작업을 다시 설계하라는 신호다.

토큰 한도에 막혔을 때 쓰는 3가지 재설계 전략

순서는 프롬프트 압축, 체이닝, 요약 루프다. 압축은 한 번의 요청을 줄이고, 체이닝은 큰 작업을 작은 요청 여러 개로 나누고, 요약 루프는 길어지는 맥락을 주기적으로 접는다. 앞에서부터 적용하는 것이 비용 대비 효과가 크다.

전략 1. 프롬프트 압축: 매번 보내는 것부터 줄인다

가장 먼저 볼 곳은 반복해서 붙여 넣는 부분이다. 세 가지를 한다.

• 지시문 정리: 같은 말을 반복한 문장, 쓰이지 않는 예시, 인사말을 지운다. 규칙은 문장보다 목록으로 적는다
• 자료 선별: 문서 전체를 붙이지 않고 질문과 관련된 장이나 표만 넣는다. 어느 부분이 필요한지 모르겠다면 목차만 먼저 주고 필요한 부분을 고르게 한다
• 출력 길이 지정: "다섯 줄 이내", "표 하나로"처럼 분량과 형식을 정한다. 출력 토큰도 사용량이다

압축한 뒤에는 같은 입력으로 전후 결과를 비교한다. 품질이 떨어졌다면 지운 문장 중 실제로 일을 하던 문장이 있었다는 뜻이니 그것만 되살린다.

전략 2. 체이닝: 한 번에 다 시키지 않는다

"자료를 읽고, 비교하고, 보고서를 써 줘"를 한 요청으로 보내면 모델은 모든 자료를 끝까지 들고 있어야 한다. 이것을 자료별 요약, 요약끼리 비교, 비교 결과로 보고서 작성의 세 단계로 나눈다. 다음 단계에는 원문이 아니라 앞 단계의 결과만 넘긴다. 단계마다 필요한 맥락만 실리므로 한 요청의 크기가 한도 아래로 내려온다.

체이닝이 깨지는 지점은 단계 사이다. 앞 단계의 출력 형식이 매번 다르면 다음 단계가 받지 못한다. 그래서 단계별 출력 형식을 먼저 고정한다. 단순한 단계는 작은 모델에 맡길 수 있다는 것도 장점이다. 보고서에서 모델 크기를 줄였다는 응답과 같은 방향이다.

전략 3. 요약 루프: 쌓이는 맥락을 주기적으로 접는다

긴 대화와 에이전트 작업은 턴이 늘수록 매 요청에 실리는 과거 기록이 커진다. 일정 주기마다, 예를 들어 작업 한 묶음이 끝날 때마다 지금까지의 결정 사항, 남은 일, 주의할 점을 요약 파일로 만들고 새 세션에서 그 파일만 들고 이어 간다. 대화창이 잠기기 전에 핸드오프 파일을 만드는 3단계 루틴이 이 전략의 개인 사용자 판이다.

요약 루프의 위험은 요약에서 빠진 정보는 다시 돌아오지 않는다는 것이다. 요약 파일에는 결론뿐 아니라 그렇게 정한 이유와 버린 선택지를 함께 적는다. 사람이 요약을 한 번 읽고 빠진 결정이 없는지 확인한 뒤 다음 세션으로 넘긴다.

세 가지 전략은 어떤 순서로 적용하나?

측정이 먼저, 압축이 그다음, 구조 변경은 마지막이다. 어디서 토큰이 나가는지 모른 채 구조부터 바꾸면 줄어든 것인지 옮겨 간 것인지 알 수 없다. 조사에서 비용을 상시 모니터링한다는 응답은 19%뿐이었다.

• 1주 차: 사용량이 큰 작업 세 개를 고르고, 작업별로 요청당 입력과 출력 토큰, 하루 호출 횟수를 적는다
• 2주 차: 세 작업에 프롬프트 압축을 적용하고 전후 사용량과 결과 품질을 비교한다
• 3주 차: 압축으로 해결되지 않는 작업만 체이닝으로 나눈다. 단계별 출력 형식을 문서로 남긴다
• 4주 차: 장시간 대화나 에이전트 작업에 요약 루프를 넣고 요약 점검을 사람이 맡는다

AI 관상 서비스 상냥을 1인으로 만들어 운영하면서 가격 티어와 API 비용 구조를 여러 차례 고쳤다. 호출할 때마다 과금되는 서비스에서는 요청 하나에 무엇을 실어 보내는지가 곧 원가다. 그래서 팀 단위 프로젝트에서도 모델 교체나 상한 증액을 논의하기 전에 요청 하나의 구성부터 들여다보기를 권한다.

도구로 해결하는 방법도 있다. 토큰 비용 98% 절감을 내세운 context-mode 검증 글에서 다룬 것처럼 컨텍스트를 자동으로 줄여 주는 도구가 나와 있지만, 숫자에 붙은 조건을 확인해야 한다. 검증 단계를 어디에 둘지는 하네스 엔지니어링 총론의 구조를 참고할 수 있다.

이 조사와 전략에서 조심해서 읽을 부분

89%는 공급업체가 의뢰한 설문의 응답자 비율이다. 그리고 세 가지 전략은 보고서에 나오는 내용이 아니라 이 글의 제안이며, 절감 폭은 작업마다 다르다.

• 발행 주체가 이해관계자다: 클라우데라는 하이브리드 데이터 플랫폼을 파는 회사이고, 보고서의 결론은 자사 제품 방향과 맞닿아 있다. 수치는 참고하되 해법 부분은 걸러 읽는다
• "전 세계 기업 89%"는 축약이다: 9개국 1,500명의 IT 리더와 의사결정권자 응답이다. 국가별 표본 수와 기업 규모 분포는 확인한 보도에 없었다
• 국내 수치는 다르다: 국내 응답에서 토큰 비용과 AI 추론을 꼽은 비율은 40%다. 89%를 국내 상황으로 옮겨 쓰면 안 된다
• 한도와 비용은 같은 말이 아니다: 보고서의 문항은 토큰 사용량 증가에 따른 제한과 재설계다. 모델의 컨텍스트 길이 한계를 물은 조사가 아니다
• 압축에는 품질 비용이 있다: 지시문과 맥락을 줄이면 결과가 나빠질 수 있다. 전후 비교 없이 줄이기만 하면 토큰은 아끼고 재작업으로 더 쓴다
• 3,000토큰 예시는 가정이다: 구조를 설명하기 위한 산수이며 실측값이 아니다