RAG 실전 ⑧ — 고급 패턴: 인덱스를 화려하게 만들기 전에 루프를 업그레이드하라

고급 RAG 패턴은 논문 인지도와 실전 채택이 크게 어긋나는 영역이다. 이번 편은 솔직한 손익계산서다.

그래프 RAG — 비용부터 보라

Microsoft GraphRAG는 "이 코퍼스 전체의 핵심 테마는?" 같은 전역·주제형 질문에 강하다 — LLM으로 지식그래프를 만들고 커뮤니티 요약을 미리 생성하기 때문. 문제는 인덱싱 때 코퍼스 전체를 LLM에 통과시켜 비용이 벡터 RAG의 약 1,000배(Microsoft 스스로 인정). 그래서 2026년의 정석은 LazyGraphRAG — 인덱싱에 LLM을 안 쓰고(비용 = 벡터 RAG와 동일 = 풀 GraphRAG의 0.1%) LLM 호출을 쿼리 시점으로 미뤄, 전역 쿼리 비용 1/700에 동급+ 품질. 증분 업데이트가 필요한 운영 코퍼스면 LightRAG(EMNLP 2025, ★39k) — 원리 학습은 nano-graphrag 1,100줄 읽기가 최단 경로.

Agentic RAG — 품질은 확실, 토큰은 4~15배

검색을 에이전트가 반복 호출하는 딥리서치 패턴의 손익은 Anthropic 실측이 말해준다: 멀티에이전트가 단일 대비 +90.2% 품질, 대신 토큰은 일반 챗의 15배(단일 에이전트도 4배). 그래서 기본 설계는 Adaptive-RAG(KAIST, NAACL 2024)식 라우팅: 작은 분류기가 쿼리 복잡도를 예측해 ①검색 없이 생성 ②단일 검색 ③반복 다단계 세 경로로 배분 — 정확도와 비용을 동시에 개선. 실무에선 T5 대신 가벼운 LLM 프롬프트 분류로도 충분하다.

프로덕션에서 확실히 남는 것들

• CRAG 패턴 — 경량 평가기가 검색 결과를 판정해 나쁘면 웹 검색 폴백 + 핵심만 추림. LangGraph 공식 튜토리얼로 반나절 구현 — relevance grader 하나 추가가 비용 대비 효과 최고의 업그레이드. (원조 Self-RAG의 전용 파인튜닝 버전은 프로덕션 채택이 드물다.)
• ColPali/ColQwen 페이지-이미지 검색 — 표·차트·스캔 많은 한국어 PDF에 특효(ViDoRe nDCG@5 81.3 vs OCR 파이프라인 60년대 중반). 함정은 벡터 폭발(페이지당 ~1,030개 벡터) — 바이너리 양자화가 사실상 필수(저장 32배 절감, nDCG ~3점 손실은 리랭킹으로 복구, Vespa 실측).
• 대화 메모리 분리 — 멀티세션 챗은 "이력 전부 프롬프트에" 대신 Mem0식 추출+검색: p95 지연 91% 감소, 토큰 90%+ 절감. 문서 인덱스(RAG)와 사용자 상태(메모리 스토어)를 분리하는 표준 아키텍처.

경계할 것들

• text-to-SQL 과신 — Spider 2.0(ICLR 2025 oral): Spider 1.0에서 91.2% 받던 o1-preview가 실제 엔터프라이즈 DW에선 21.3%. 스키마·문서 검색 + 실행-오류 피드백 루프 + 검증된 시맨틱 레이어 제한 없이 서비스에 넣으면 안 된다.
• 풀 RAPTOR 트리·풀 GraphRAG — 논문 인지도 대비 실전 채택 드묾. 정적이고 긴 단일 문서 코퍼스에만 선택적으로.

한 줄 요약: 인덱스를 화려하게 만들기 전에 루프(평가→라우팅→재시도)를 먼저 업그레이드하라 — 남는 패턴은 전부 루프 쪽이다.

— RAG 실전 시리즈 ⑧ / 다음 글: 증분 색인 — 색인은 만드는 것보다 늙지 않게 하는 게 어렵다