LLM 서빙 캐싱 ④ — API 프롬프트 캐싱: 가격표, TTL, 손익분기

자체 GPU가 없어도 프리픽스 캐시의 이득은 받을 수 있다. API 제공사가 서버 쪽 KV 캐시를 재사용하고 그만큼 할인해 주는 것이 프롬프트 캐싱이다. 2026년 8월 기준으로 과금 모델은 세 갈래로 정리됐고, 손익분기는 계산할 수 있으며, 청구서를 20~30% 좌우하는 실수가 실제로 일어났다. 가격은 전부 공식 페이지에서 확인한 값이다.

세 가지 과금 모델

• 쓰기 할증형 — Anthropic·OpenAI(GPT-5.6+)·Bedrock. Anthropic은 5분 캐시 쓰기 ×1.25, 1시간 쓰기 ×2, 읽기 ×0.1. Sonnet 5는 입력 $2 / 5분 쓰기 $2.50 / 1시간 쓰기 $4 / 읽기 $0.20 / 출력 $10. 최소 캐시 길이는 모델별 512(Opus 5)·1,024(Sonnet 5)·4,096(Haiku 4.5) 토큰이며 미달이면 에러 없이 조용히 캐시되지 않는다. OpenAI는 2026-07-09 GPT-5.6부터 무료 자동 쓰기를 버리고 같은 ×1.25 / ×0.1 구조 + 명시적 브레이크포인트 + 30분 TTL로 전환했다(이전 모델은 쓰기 무료, 읽기 GPT-5.x ×0.1·4.1/o3 ×0.25, 최소 1,024~2,048).
• 저장료형 — Gemini. 암묵 캐싱은 2.5 이상 기본 활성이고 무료지만 보장이 없다. 명시 캐싱은 토큰 0.1배에 더해 시간당 저장료(3.7 Flash $0.50, 3.1 Pro $4.50 per M토큰·시간)가 붙는다. 100K 토큰 Pro 캐시를 놀려두면 하루 $10.80이 읽기 한 번 없이 나간다.
• 무료 디스크형 — DeepSeek. 2024년 8월 세계 최초의 디스크 KV 캐시. 64토큰 단위, 쓰기 무료, 수 시간~수 일 보존. V4-pro 미스 $1.32 / 히트 $0.044 — 히트가 미스의 3.3%다. 오프피크 50%까지 겹치면 정가의 1.7%.

국내 제공사는 Upstage만 캐시 단가를 공개했다(Solar Pro 4 $0.30 / 캐시 $0.06 / $1.20, Pro 3는 −90%). K-EXAONE은 FriendliAI에서 캐시 −80%, HyperCLOVA X는 캐시 항목이 없고 Kanana는 CBT 중이다. 자세한 건 ⑪편.

손익분기 계산기

• 몇 번 재사용해야 남는가: 5분 캐시는 쓰기 1.25 + 읽기 0.1 = 1.35 vs 정가 2.0 — 두 번째 요청부터 32.5% 절감. 1시간 캐시는 2 + 0.1 + 0.1 = 2.2 vs 3.0 — 세 번째부터. Anthropic 문서는 "5분 캐시는 read 1회, 1시간 캐시는 read 2회면 본전"으로 쓴다.
• 히트율 기준: 유효 단가 = H × 0.1 + (1 − H) × 1.25. 손익분기 히트율은 5분 약 22%, 1시간 약 53%. AWS의 표현은 "읽기가 토큰 흐름의 ~20%를 넘으면 순절감".
• 90% 할인 ≠ 90% 절감: 히트율 90%, 5분 캐시면 미스 10%가 ×1.25라 절감은 78.5%다. 1시간이면 71%. 그리고 ①편에서 본 대로 출력이 캐시되지 않으니 청구서 전체로는 다시 절반쯤.
• 할인 중첩: Anthropic Batch(50%) × 캐시 읽기 = 정가의 5%. Azure PTU는 읽기 100% 할인. Bedrock은 캐시 토큰이 ITPM 한도에 안 들어간다(1st-party OpenAI는 TPM에 산입).

TTL 하나가 청구액 20~30%를 좌우한다

Claude Code 사용자의 119,866건 로그 분석: 2026년 3월 초 클라이언트가 1시간→5분 TTL로 바뀌자 3월 청구가 25.9%, 넉 달간 $5,561 중 $949(17.1%)가 초과 지불됐다. Anthropic의 답은 "1회성 요청이 많으면 5분이 더 싸서 클라이언트가 자동 결정한다"였다. 다른 사례는 라이브러리 업데이트 후 일 $4~5→$13.86, 한 줄 수정으로 $4.52. 규칙: 요청 간격 5분 미만이면 5분, 5~60분이면 1시간, 1시간 이상이면 max_tokens 최소값으로 프리워밍하거나 포기(워밍 경제학은 ⑨편).

조용한 무효화 체크리스트

• 프리픽스 순서는 tools → system → messages. 도구 정의 한 글자만 바꿔도 전부 무효. Anthropic은 2026년 5월 mid-conversation role: "system", 7월 도구 변경 베타로 탈출구를 열었고, OpenAI는 allowed_tools로 정의는 고정한 채 제한한다.
• 브레이크포인트 앞의 타임스탬프·UUID, 비정렬 JSON, 이미지 detail 변경, thinking/effort 변경, 모델 스위치, web search·citations 토글.
• 동시 요청은 전부 쓰기다 — 첫 응답이 시작된 뒤에야 읽기가 가능하니 팬아웃은 첫 요청 완료 후. OpenAI/Azure는 prompt_cache_key당 약 15 RPM을 넘으면 콜드 레플리카로 흘러 미스가 는다.
• 고유 내용 뒤의 브레이크포인트는 순수 할증(쓰기만 발생). Anthropic 2026-02의 automatic caching은 최상위 cache_control 하나로 마지막 캐시 가능 블록을 자동 추적하고, 5월의 cache_miss_reason 진단 베타가 이유를 알려준다.

측정 필드는 Anthropic cache_read_input_tokens·cache_creation_input_tokens, OpenAI usage.prompt_tokens_details.cached_tokens, Gemini total_cached_tokens. 이 값을 스트림별로 로그에 남기지 않으면 절감은 증명되지 않는다. 다음 글은 에이전트와 RAG에서 이 캐시를 실제로 살리는 배치 규칙이다.

— LLM 서빙 캐싱 시리즈 ④ / 다음 글: 에이전트·멀티턴·RAG — 앱 계층의 캐시 다섯 층