LLM 청구서를 줄이는 방법은 크게 셋이다. 더 싼 모델로 바꾸거나, 호출 횟수를 줄이거나, 같은 계산을 두 번 하지 않는 것. 앞의 둘은 품질과 기능을 건드리지만 셋째는 그렇지 않다. 그래서 캐싱은 비용을 고민하는 CTO가 가장 먼저 손대야 할 손잡이다. 이 시리즈는 KV 캐시부터 프리픽스 캐시, API 프롬프트 캐싱, 시맨틱 캐시, 그리고 캐시를 도입하기 전에 우리 트래픽으로 절감액을 추정하는 방법까지, 전부 "돈이 얼마나 줄어드는가"의 관점으로 정리한다. 첫 회는 청구서의 구조와 캐시의 지도다.
청구서의 구조 — 입력은 부풀고 출력은 비싸다
- 입력이 출력보다 10배 이상 많다. OpenRouter의 100조 토큰 통계에서 평균 프롬프트는 6K 토큰, 완성은 400 토큰 안팎(약 15:1)이다. 에이전트는 더 극단적이어서 Manus는 입력:출력 ≈ 100:1이라고 밝혔고, 에이전트 트래픽은 2026년 2월 이후 다섯 달 만에 14배 늘었다. prefill(입력 처리)이 GPU 시간의 85~95%를 먹는 워크로드가 이미 표준이다.
- 출력 단가는 입력의 5~6배다. 2026년 8월 기준 Claude Sonnet 5는 입력 $2/출력 $10, GPT-5.6 Terra는 $2/$12, Gemini 3.1 Pro는 $2/$12(1M 토큰당). 토큰 수로는 입력이 지배하지만, 금액으로는 출력이 30~60%를 차지하는 구조가 여기서 나온다.
- 단가는 매년 2/3씩 떨어지는데 청구서는 오른다. State of FinOps 2026(응답 1,192명)에 따르면 AI 지출을 관리하는 조직이 2년 만에 31%→98%가 됐고, 73%가 AI 예산을 초과했으며 에이전트 프로젝트는 평균 2.4배 초과했다. 문제는 단가가 아니라 볼륨이고, 캐싱은 볼륨을 공격하는 기술이다.
캐시의 네 층 — 각각 다른 비용 항목을 줄인다
- ① KV 캐시(서빙 엔진 메모리) — 자체 서빙에서 GPU 한 장에 몇 명을 동시에 태울 수 있는지를 결정한다. 메모리가 곧 처리량이고 처리량이 곧 $/토큰이다. (②·⑦편)
- ② 프리픽스 캐시 / API 프롬프트 캐싱 — 같은 시스템 프롬프트·문서·대화 이력의 prefill을 다시 계산하지 않는다. 자체 서빙에서는 GPU 시간을, API에서는 과금 토큰을 줄인다(읽기 0.1배). (③·④편)
- ③ 앱 계층 캐시 — 임베딩, 검색 결과, 리랭커, 도구 호출 결과. LLM 주변의 반복 계산을 없앤다. (⑤편)
- ④ 응답 캐시(정확일치·시맨틱) — 호출 자체를 없앤다. 유일하게 출력 토큰 비용까지 줄이는 층이지만, 유일하게 틀린 답을 돌려줄 수 있는 층이기도 하다. (⑥편)
"90% 할인"이 청구서에서 50%가 되는 이유
API 프롬프트 캐싱의 읽기 단가는 정가의 10%다. 그런데 실제 청구서는 90%가 아니라 25~50% 줄어든다. youngju.dev의 산수가 정확하다: 입력 50K·출력 15K 요청에서 40K를 캐시로 돌려도 전체 절감은 28.8%다. 출력이 토큰의 23%인데 비용의 60%이기 때문이다. 하루 10만 건, 시스템 프롬프트 3K·동적 입력 500·출력 300 토큰인 고객지원 봇으로 계산하면 이렇다(Sonnet 5, 월 300만 건).
| 시나리오 | 월 비용 | 절감 |
|---|---|---|
| A. 캐시 없음 | $30,000 | — |
| B. 프롬프트 캐싱 히트율 95% | $14,835 | −50.5% |
| C. B + 시맨틱 캐시로 호출 30% 제거 | $10,685 | −64.4% |
| D. C + 비실시간 20%를 Batch API로 | ≈$9,700 | −68% |
| 참고. Llama-3.3-70B 자체 서빙, 8×H100 24시간 | ≈$16,700 + 운영 | B보다 비쌈 |
읽을 점 세 가지. 첫째, 90% 할인이 50%가 되는 건 출력 30%가 API 계층에서는 캐시되지 않기 때문이다. 둘째, 출력까지 줄이는 건 시맨틱 캐시뿐인데 히트의 3~7%는 틀린 답일 수 있어 평가 게이트가 필요하다(⑥편). 셋째, 이 볼륨에서 70B 자체 서빙은 캐시 붙인 API보다 비싸다 — 자체 서빙의 캐시 효과는 할인 항목이 아니라 "GPU 수"로 나타난다(②·③편). 원화로는 A ≈ 4,200만 원, B ≈ 2,080만 원, C ≈ 1,500만 원/월이다.
이 시리즈의 지도
② KV 캐시와 메모리 경제학 → ③ 프리픽스 캐싱과 캐시 인지 라우팅 → ④ API 프롬프트 캐싱의 가격·TTL·손익분기 → ⑤ 에이전트·멀티턴·RAG의 앱 계층 캐시 → ⑥ 시맨틱 캐시의 현실 히트율 → ⑦ KV 압축·오프로딩·클러스터 공유 → ⑧ 도입 전에 로그로 히트율 상한 재기 → ⑨ 워밍·콜드 캐시·오토스케일링 운영 → ⑩ 캐시 vs 파인튜닝 vs 프롬프트 압축 → ⑪ 한국어 맥락과 CTO 플레이북. 모든 편에 실제 숫자와 실패담을 넣었다. 다음 글은 자체 서빙의 출발점, KV 캐시가 왜 GPU 비용의 변수인지부터다.
— LLM 서빙 캐싱 시리즈 ① / 다음 글: KV 캐시와 메모리 경제학 — GPU 한 장에 몇 명을 태우나
댓글 없음:
댓글 쓰기
국정원의 댓글 공작을 지탄합니다.