LLM 서빙 캐싱 ⑪ (완결) — 한국어 맥락과 CTO 플레이북

마지막 편은 두 가지다. 한국어로 서비스하는 회사에만 해당하는 조건 — 토큰 인플레이션, 국내 API의 캐시 지원, 망분리, 국내 GPU 단가 — 을 숫자로 정리하고, 열 편의 내용을 "우리 회사는 어디서 시작하나"라는 결정 트리로 접는다.

한국어는 정말 토큰을 3배 더 쓰나 — 실측치는 1.5~2.1배

"한국어는 토큰 3~5배"라는 기사가 돌지만 1차 출처가 없다. HyperCLOVA X 기술 리포트의 표가 가장 신뢰할 만하다: 같은 한국어 코퍼스에서 HCX를 1.00으로 두면 GPT-4 토크나이저 2.10배, LLaMA 2 3.07배, Gemma 1.51배. 국내 실측은 영어 대비 한국어 토큰이 Qwen3-8B 1.95배, DeepSeek-V3 1.87배. 원인은 한글 1자 = UTF-8 3바이트. 한글 1자당 토큰은 Claude(4.5 기준) ≈ 1.0, GPT-5.1 ≈ 0.62, Gemini 3 Pro ≈ 0.55 — 10,000자 입력이 9,996 / 6,160 / 5,530 토큰이다. 제공사 간 1.8배 차이가 나므로 단가표가 아니라 토큰화 후 단가로 비교해야 한다. 캐싱에는 두 가지 함의가 있다. 입력이 2배로 부풀면 캐시 절감 절대액도 2배이고, 최소 캐시 길이 1,024토큰은 Claude 기준 한글 약 1,000자·GPT 기준 약 1,650자면 채워져 한국어 시스템 프롬프트와 RAG 문서는 거의 항상 캐시 대상이다.

자체 서빙이라면 토크나이저가 곧 KV 캐시 예산

EXAONE 3.0 리포트의 한국어 단어당 토큰: EXAONE 2.46, Llama 3.1 3.01, Gemma 2 3.31, Qwen2 3.29, Mistral 5.22(영어는 전부 1.35~1.55). SKT A.X 4.0은 GPT-4o 대비 한국어 토큰 33% 절감, 서울대 Thunder-Tok은 Llama-3.1에 한국어 92K 토큰을 추가해 단어당 토큰 −44%. 토큰이 줄면 prefill·KV 메모리·프리픽스 캐시 점유가 같은 비율로 준다. 단, 토큰 절감률 ≠ 비용 절감률 — Thunder-Tok의 비용 절감 주장은 "약 10%"였다. 디코드는 memory-bound라 입력 절감이 선형으로 반영되지 않는다. 국내 대형 서비스의 공개 실측으로는 카카오 Kanana-Flex FP8(H200×8: 처리량 +43%, TTFT −34%, 메모리 −50%, 정확도 +1.5pt)과 SKT의 vLLM V1 전환(1,760→2,154 tok/s, TTFT 372→182ms, 프리픽스 캐싱으로 서비스 시나리오 약 2배)이 있다.

국내 API·망분리·GPU 단가가 만드는 결론

• 캐시 단가를 공개한 국내 API는 Upstage뿐(④편). CLOVA Studio는 2025-04부터 입출력 분리 과금이지만 캐시 항목이 없고, Kanana·Mi:dm은 단가 미공개. 국내 모델은 오픈 웨이트 자체 서빙이 주 경로이므로 절감은 ③·⑦편의 서버 쪽 캐시에서 나온다.
• 망분리: 금융 망분리 로드맵에 따라 2026-04-20부터 금보원 평가를 통과한 SaaS는 내부망 허용이지만 개인신용정보·고유식별정보 처리는 여전히 불가, 공공은 N2SF 기밀·민감 등급이 자체 구축이다. 금융·공공은 외부 API의 캐시 할인을 받을 수 없으니 서버 쪽 캐싱이 유일한 레버다.
• 국내 GPU는 AWS보다 싸지 않다: KT클라우드 A100×2 12,090원/시간 vs AWS 약 11,664원, 그것도 고정 할당이라 유휴 시에도 과금. AWS H100 $6.88 vs 국내 네오클라우드 $2.39~2.98(VESSL 기준). 고정 할당 GPU는 "항상 따뜻하지만 항상 켜져 있는" 캐시다 — ⑨편의 워밍 경제학이 뒤집힌다.
• 한국어 시맨틱 캐시 임베딩은 0.6B급이면 충분하다. Ko-StrategyQA에서 snowflake-ko 0.805, KURE-v1 0.800, bge-m3 0.794 — 모델 간 1pt 이내. 국내 히트율 공개 사례는 당근(⑥편) 하나뿐이니 직접 재라(⑧편).

CTO 결정 트리 — 어디서 시작하나

• API 사용 + 요청 간격 5분 미만 → 프롬프트 정렬(고정→도구→사용자, ⑤편) + 5분 캐시 + cached_tokens 스트림별 계측(④편). 첫 주에 25~50%.
• API 사용 + 간격 5~60분 → 1시간 TTL, 그 이상이면 워머 손익 계산(⑨편). 저볼륨이면 Gemini 암묵 캐싱이나 DeepSeek 디스크 캐시.
• FAQ·분류처럼 반복 질의 30% 이상 → 정확일치 캐시 먼저, 시맨틱은 로그에서 반복률을 재고(⑧편) 임계값 0.92부터(⑥편).
• 자체 서빙, 레플리카 1대 → 프리픽스 캐시는 이미 켜져 있다. 히트율 대시보드 → 프롬프트 정렬 → FP8 KV(7K 토큰 이상) 순(②·③·⑦편).
• 자체 서빙, 레플리카 2대 이상 → 세션 스티키 → 프리픽스 라우팅 → 멀티턴·에이전트면 DRAM 오프로드와 공유 스토어(③·⑦편). 오토스케일링은 캐시를 깬다(⑨편).
• 5K 토큰 이상 고정 프롬프트가 월 100만 건 이상 → 캐시 vs 파인튜닝 손익분기(⑩편).
• 금융·공공 망분리 → 위의 자체 서빙 경로만 해당. 토크나이저 선택이 첫 번째 캐시 최적화.

KPI는 토큰당 비용이 아니라 "해결된 대화당 비용"

FinOps 재단의 AI 프레임워크는 쿼리·대화·워크플로 완료당 비용을 권하고, RAG·에이전트의 주변 인프라(벡터 DB·임베딩·관측)가 기능 지출의 40~60%라고 본다. 시맨틱 캐시의 Redis 청구서는 같은 줄에 적어야 하고, 시맨틱 캐시 도입은 CSAT·에스컬레이션 A/B 게이트를 통과해야 한다. 그리고 이 시리즈를 쓰며 확인한 사실 하나 — 2026년 8월 현재 프롬프트 캐시 히트율과 절감액을 숫자로 공개한 국내 기업 사례는 없다(네이버의 "운영비 1/3"은 sLM 라우팅 이야기다). 처음으로 공개하는 회사가 기준이 된다.

— LLM 서빙 캐싱 시리즈 ⑪ (완결) / 관련 시리즈: 에이전트 설계 ⑤ 컨텍스트 엔지니어링, RAG 실전 ⑨ 증분 색인, 사용자 의도 분석과 LLM 라우팅 ④ 라우팅과 비용