LLM 평가 방법론 ⑨ — RAG 평가: 검색기와 생성기를 따로 재라

실무 개발자가 가장 많이 묻는 평가가 RAG다. 이 장의 뼈대는 3층이다: 결정론적 검색 지표 → LLM 심판 트라이어드 → 어려운 엔드투엔드 벤치마크. 그리고 출발점이 되는 실패 사례 하나.

Lost in the Middle — 위치가 정답률을 좌우한다

Stanford의 고전(TACL 2024): 문서 20개 QA에서 정답 문서가 맨 앞이면 GPT-3.5가 75.8%, 중간(10번째)이면 53.8% — 문서를 아예 안 준 클로즈드북(56.1%)보다도 낮다. 모델은 컨텍스트의 처음과 끝만 잘 쓴다(U자 곡선). "청크를 더 많이 넣으면 좋겠지"가 역효과인 이유이고, 리랭커(최고 청크를 앞에)가 평가에 보이는 이득인 이유다. 평가셋에서 정답 문서의 위치를 바꿔가며 재라.

1층: 검색기 — 싸고 결정론적인 IR 지표

답변을 심판하기 전에 검색기부터: Recall@k(정답 문서가 상위 k에 들었나), MRR(첫 정답이 몇 위인가), nDCG@10(순위 가중 관련도) — BEIR의 표준 3종. BEIR의 유명한 발견: 제로샷 아웃오브도메인에서 dense retriever가 BM25에 자주 밀린다 — 2026년에도 하이브리드 검색이 기본값인 이유. 검색 지표와 최종 답변 품질은 따로 움직인다(Recall 완벽해도 위치·노이즈로 오답, Recall 0이어도 파라미터 지식으로 정답) — 그래서 두 층을 분리 측정한다.

2층: 트라이어드 — 질문·컨텍스트·답변의 세 변

TruLens의 RAG 트라이어드가 가장 깔끔한 정신 모델: 컨텍스트 관련성(검색 실패 탐지) / 근거성 groundedness(답변의 주장이 컨텍스트에 있나 — 생성 단계 환각) / 답변 관련성(질문에 답했나). RAGAS가 이를 구현한 사실상의 표준 라이브러리다 — 단, 점수는 방향 지표로만: 프롬프트만으로 채점하는 심판의 신뢰성 문제가 문서화돼 있고, 개선판이 RAGChecker(주장 단위 entailment 분해 — 사람 판단과의 상관이 RAGAS·TruLens보다 유의미하게 높음)와 ARES(수백 개 인간 라벨 + 통계 보정으로 신뢰구간 제공)다. 어떤 것을 쓰든 자기 도메인의 인간 라벨 샘플로 심판을 스팟 체크하라.

3층: 어려운 벤치마크 — RAG는 아직 안 풀렸다

• CRAG (Meta, KDD Cup 2024) — LLM 단독 ≤34% → 나이브 RAG 44% → 업계 최고 시스템도 63%. 빠르게 변하는 사실·롱테일에서 붕괴. 채점이 배울 점: 환각(오답)을 무응답보다 무겁게 감점하는 3분할.
• 강건성 체크리스트 — RGB(AAAI 2024)의 4분류: 노이즈 강건성, 거부해야 할 때 거부(negative rejection — 실전 사고의 최다 원인), 다문서 통합, 반사실 저항. 여기에 FreshQA의 거짓 전제 질문까지 — 합성 테스트 케이스의 준비된 설계도다.
• 멀티홉·에이전틱 — FRAMES: 2~15개 문서 통합 질문에서 단발 검색 0.40 → 다단계 검색 0.66. BrowseComp: GPT-4o 0.6% vs Deep Research 에이전트 51.5% — 이제 변수는 지식이 아니라 검색 전략을 계획하는 능력이고, 트라이어드 지표는 이 축을 못 잡는다.

한국어 자원: AutoRAG(한국산 "RAG 자동 최적화" — 문서가 사실상 한국어 RAG 평가 교과서), Ko-StrategyQA(한국어 멀티홉 검색 QA).

한 줄 교훈: 값싼 결정론적 지표로 검색기와 생성기를 따로 잰 다음에야 LLM 심판의 엔드투엔드 점수를 믿어라 — 그리고 환각을 무응답보다 무겁게 벌하라.

— LLM 평가 방법론 시리즈 ⑨ / 다음 글: 멀티모달 평가 — 보는 능력은 따로 재야 한다