"RAG를 붙였는데 왜 안 되죠?"라는 질문에는 대개 두 가지가 섞여 있다. 어떤 RAG를 쓸지 안 정한 것과, 잘되는지 재는 방법을 안 정한 것. 이 시리즈는 2026년 현재 쓰이는 RAG 변형들 — 하이브리드, HyDE, Contextual Retrieval, Self·Corrective·Adaptive, GraphRAG, Agentic, 멀티모달 — 을 "무엇인지"가 아니라 언제 값을 하고 얼마가 드는지로 정리한다. 앞선 "RAG 실전" 시리즈가 구축 방법이었다면, 이번은 선택 기준이다.
먼저 냉정한 숫자부터
- RAG를 붙이는 것만으로는 부족하다. Meta의 CRAG 벤치마크(4,409문항, 5개 도메인)에서 LLM 단독 34% 이하, 단순 RAG 44%, 업계 최고 솔루션도 환각 없는 정답률 63%였다. FinanceBench에서는 검색을 붙인 GPT-4-Turbo가 81%를 틀리거나 거절했다.
- Naive RAG는 종종 "검색 안 함"보다 나쁘다. Rewrite-Retrieve-Read 논문에서 HotpotQA EM은 검색 없이 답할 때 32.36, retrieve-then-read가 30.47이었다.
- 컨텍스트에 넣었다고 읽는 것도 아니다. Lost in the Middle: GPT-3.5-Turbo에 문서 30개를 주고 정답을 가운데 두면 50.5% — 문서를 아예 안 준 56.1%보다 낮다.
- 우리가 넣는 컨텍스트의 대부분은 쓰레기다. Chroma의 토큰 단위 측정에서 청킹 전략별 precision은 2.7~8.0%(recall은 87~92%). 92~97%가 낭비라는 뜻이고, 그만큼 토큰 비용을 줄일 여지가 남아 있다.
RAG 변형의 다섯 계층
이름이 수십 개지만 손대는 지점은 다섯 곳뿐이다. 각 계층은 뒤로 갈수록 비싸진다.
- ① 검색 자체 — BM25, dense 임베딩, 하이브리드, 리랭킹. LLM 호출이 늘지 않아 가장 싸다. (②편)
- ② 색인 단위 — 청킹, Contextual Retrieval, late chunking, RAPTOR, 파싱. 일회성 비용이라 질의당 부담이 0이다. (③편)
- ③ 질의 변환 — 재작성, 분해, HyDE, step-back. 질의당 LLM 호출이 1회 이상 붙는다. (④편)
- ④ 흐름 제어 — Self-RAG, CRAG, Adaptive RAG, 라우팅. 크리틱·평가기 호출이 추가된다. (⑤편)
- ⑤ 구조·자율성 — GraphRAG, 에이전틱 RAG, 딥리서치. 색인 비용이 1,000배, 질의 비용이 수백 배까지 뛴다. (⑥·⑦편)
비용은 자릿수로 갈린다
Sonnet 5($2/$10 per 1M) 기준으로 질의 하나의 실제 청구액을 계산하면 계층 간 차이가 선명하다.
| 방식 | 질의당 | 배수 | 지연 |
|---|---|---|---|
| 단발 RAG (top-8) | 약 24원 | 1배 | 2~4초 |
| + 리랭커 | +3~5원 | 1.2배 | +0.02~4.5초 |
| 반복 에이전트 (도구 5회) | 약 175원 | 7.4배 | 15~40초 |
| 같은 조건 + 프롬프트 캐싱 | 약 63원 | 2.6배 | 동일 |
| 롱컨텍스트 200K 통째로 | 약 563원 | 24배 | 10~25초 |
| 딥리서치 (리드+서브 4, 검색 40회) | 7천~1.1만 원 | 300~470배 | 5~30분 |
읽을 점 셋. 첫째, 캐싱만 켜도 에이전트가 7.4배에서 2.6배로 내려온다(앞 시리즈 ④편). 둘째, 색인 쪽은 반대로 계산한다 — Contextual Retrieval은 문서 100만 토큰당 $1.02의 일회성이고 질의당 추가가 0인 반면, full GraphRAG는 색인이 벡터 RAG의 1,000배다(⑥편). 셋째, 이 표는 토큰 시나리오를 가정한 모델링이니 자사 단가로 다시 계산해야 한다.
이 시리즈의 지도
② 하이브리드 검색과 리랭킹(가장 싼 개선) → ③ 색인 단위: 청킹·Contextual Retrieval·파싱 → ④ 질의 변환: HyDE·분해·step-back의 손익 → ⑤ Adaptive·Self·Corrective RAG: 언제 검색을 건너뛰나 → ⑥ GraphRAG와 구조화 데이터 → ⑦ 에이전틱 RAG와 "RAG는 죽었나" 논쟁 → ⑧ 멀티모달·문서·코드 RAG → ⑨ 평가: 무엇을 어떻게 재나 → ⑩ 멀티턴 대화형 RAG → ⑪ 권한 인식 검색과 보안 → ⑫ 색인 수명주기: 삭제·재임베딩·신선도 → ⑬ 한국어 조건과 결정 트리(완결).
미리 밝혀 두면, 이 시리즈의 결론은 "최신 변형을 쓰라"가 아니다. RAG 실패 7가지 지점 논문의 문장이 정확하다 — "RAG 시스템의 검증은 운영 중에만 실질적으로 가능하고, 견고함은 설계되는 것이 아니라 진화한다." 다음 글은 가장 싸고 가장 확실한 개선, 하이브리드 검색이다.
— RAG 종류 총정리 시리즈 ① / 다음 글: 하이브리드 검색과 리랭킹 — BM25는 왜 아직 안 죽었나
댓글 없음:
댓글 쓰기
국정원의 댓글 공작을 지탄합니다.