RAG 종류 총정리 ⑦ — 에이전틱 RAG와 "RAG는 죽었나" 논쟁

"검색 툴 하나 붙였는데 왜 안 똑똑해지죠?" — 에이전틱 RAG를 검토하는 팀이 가장 먼저 겪는 실망이다. 숫자가 그 이유를 정확히 말해 준다. BrowseComp(웹을 뒤져야 풀리는 1,266문항)에서 GPT-4o는 0.6%, 브라우징을 붙여도 1.9%인데, 검색을 위해 훈련된 딥리서치 시스템은 51.5%다. 참고로 숙련된 사람도 29.2%만 풀고 70.8%는 두 시간 만에 포기했다.

반복의 순수 이득과 그 청구서

반복 검색 자체의 이득은 측정돼 있다. FRAMES에서 검색 없는 SOTA LLM이 0.40, 멀티스텝 검색 파이프라인이 0.66(+50% 이상). RL로 검색을 학습시킨 Search-R1은 7B에서 RAG 베이스라인 대비 +41%였다.

대가는 Anthropic이 공개한 숫자가 가장 정직하다 — 에이전트는 챗의 약 4배, 멀티에이전트는 약 15배 토큰을 쓴다. 그 대신 리드 Opus + 병렬 Sonnet 서브에이전트가 단일 모델 대비 90.2% 우위였고, BrowseComp 성능 분산의 80%가 토큰 사용량으로 설명됐다. 성능을 사려면 토큰을 사야 한다는 뜻이다.

Sonnet 5($2/$10) 기준으로 질의 하나의 실제 청구액을 계산하면 이렇다.

방식	질의당	배수	지연
단발 RAG	24원	1배	2~4초
반복 에이전트(도구 5회)	175원	7.4배	15~40초
같은 조건 + 프롬프트 캐싱	63원	2.6배	동일
+ 웹검색 5회	245원	10.4배	30~90초
딥리서치(리드+서브4, 검색 40회)	7천~1.1만 원	300~470배	5~30분

월 1만 쿼리면 단발 RAG 약 $170, 캐싱 켠 에이전트 $450, 딥리서치는 $5만~8만이다. 캐싱만 켜도 에이전트가 7.4배에서 2.6배로 내려온다(캐싱 시리즈 ④편). 그리고 이 표는 토큰 시나리오를 가정한 모델링이니 자사 단가로 다시 계산해야 한다.

"RAG는 죽었다"는 반만 맞다

1M 컨텍스트가 나오면서 나온 주장인데, 2025~2026년 증거는 반대다.

• NoLiMa: 질의와 문서의 어휘 중첩을 제거하면 128K를 표방한 모델 13개 중 11개가 32K에서 단문맥 성능의 절반 이하로 떨어진다. GPT-4o는 99.3% → 69.7%.
• Context Rot(18개 모델): 방해 문서가 단 1개만 들어가도 정확도가 떨어지고 4개면 가중된다. Claude는 기권하는 쪽으로, GPT는 자신 있게 틀리는 쪽으로 갈린다.
• OP-RAG: 검색 청크를 원문 순서로 유지하면 ∞Bench EN.QA F1이 48K 토큰에서 47.25인데, 같은 모델에 117K를 통째로 넣으면 34.26이다. 토큰을 1/2~1/7로 줄이면서 정확도가 오른다.

정답은 대체가 아니라 라우팅이다. Self-Route는 비용을 39~65% 줄이면서 성능을 유지했다(⑤편). 실무 컷라인도 명확하다 — 지식베이스가 20만 토큰(약 500쪽) 미만이면 RAG를 짓지 말고 통째로 넣고 캐싱하라는 게 Anthropic의 권고다. 롱컨텍스트 경제학은 벤더마다 다르다는 점도 계산에 넣어야 한다: Claude는 1M 전체가 표준 단가이지만 Gemini 3.1 Pro는 200K 초과 시 단가가 2배이고, 1M 컨텍스트를 캐시로 유지하면 코퍼스당 시간당 $4가 나간다.

검색하지 말고 실행하라

2026년의 실질적 변화는 "무엇을 미리 계산할 것인가"의 재배치다.

• MCP 코드 실행: 도구 정의를 전부 컨텍스트에 넣는 대신 코드 API로 노출하고 실행 환경에서 필터링하면 150,000 → 2,000 토큰(98.7% 절감).
• 서브에이전트 요약: 수만 토큰을 탐색하고 1,000~2,000 토큰 요약만 반환시키는 패턴. 컨텍스트를 "수확 체감이 있는 유한 자원"으로 다루는 설계다.
• 메모리도 RAG 변종이다: Mem0는 LongMemEval에서 67.8 → 94.4를 7K 토큰·1초 안에 냈고, Zep은 지연 −90%를 보고했다. 대화형 제품이라면 이쪽이 먼저다.

프로덕션 3원칙

LangChain이 자체 딥리서치를 만들며 남긴 결론이 실용적이다 — "멀티에이전트는 조율이 어렵고, 리포트를 병렬로 쓰면 품질이 나쁘다. 조사에만 멀티에이전트를 쓰고 작성은 한 번에 하라." 여기에 둘을 더한다. 예측 불가능성은 버그가 아니라 성질이므로 도구 호출 상한·타임아웃·비용 캡을 코드로 강제할 것. 그리고 모델의 자기확신을 믿지 말 것 — HLE 리더보드에서 상위 모델들의 캘리브레이션 오차가 57~89%였고, OpenAI 자신도 딥리서치가 소문을 인용하고 불확실성 전달에 실패한다고 밝혔다.

한국 상황을 덧붙이면, 스택은 갖춰졌는데 평가가 비었다. Solar Pro 4(512K 컨텍스트, $0.30/$1.20)·KURE·AutoRAG로 조립은 가능하지만 BrowseComp는 영어·중국어만, DeepResearch Bench도 영중 50:50이라 한국어 딥리서치 벤치마크가 사실상 없다. 사내 평가셋을 직접 만드는 수밖에 없고, 그 방법은 ⑨편에서 다룬다. 다음 글은 텍스트가 아닌 자료 — 표·도면·코드의 RAG다.

— RAG 종류 총정리 시리즈 ⑦ / 다음 글: 멀티모달·문서·코드 RAG — PDF를 이미지로 넣는 게 답일까