LLM 평가 방법론 ⑤ — LLM-as-a-Judge: 심판을 심판하기

사람 대신 GPT-4에게 채점을 시킨다 — 2023년 이 아이디어가 표준이 됐고, 2026년의 결론은 이렇다: LLM 심판은 필수 인프라이지만, 그 자체가 교정(calibration)이 필요한 측정 기기다.

패러다임의 탄생과 3대 편향

원전은 MT-Bench 논문(Zheng et al., NeurIPS 2023): GPT-4 심판이 인간 선호와 80% 이상 일치 — 인간끼리의 일치율(~81%)과 같은 수준. 동시에 3대 편향을 명명했다: 위치 편향(먼저 보여준 답 선호), 장황함 편향(긴 답 선호), 자기 강화 편향(자기 답 선호). 위치 편향이 얼마나 심한가: Wang et al.은 답변 순서만 바꿔서 Vicuna-13B가 ChatGPT를 80문제 중 66문제에서 "이기게" 만들었다. 자기 편향의 메커니즘도 밝혀졌다 — 모델은 자기 출력을 알아보며, 자기 인식이 강할수록 자기 선호도 강하다(NeurIPS 2024). CALM(ICLR 2025)은 편향을 12종까지 확장했다: 가짜 권위 인용, "90%가 이 답을 선호합니다" 밴드왜건, 감정 문구...

편향을 다루는 법

• 위치 — 순서를 바꿔 두 번 평가하고 종합(스왑 필수). 뒤집히면 무승부 처리.
• 길이 — 길이 통제 AlpacaEval: "두 답의 길이가 같았다면?"을 회귀로 보정하자 아레나와의 상관이 0.94→0.98. 길이 미통제 승률은 폐기된 관행.
• 자기 선호 — 평가 대상과 다른 패밀리의 심판을 쓰거나, 배심원단(PoLL): 서로 다른 패밀리의 작은 심판 여럿의 투표가 단일 GPT-4보다 정확하고 7배 저렴.
• 루브릭 — G-Eval식 CoT + 기준표 채점이 pointwise의 표준. 단 상관 0.514는 "여전히 노이지"라는 뜻 — 가능하면 pairwise를.

심판을 심판하기 (2024-26의 전환)

• JudgeBench — 스타일이 아니라 객관적 정답이 갈리는 쌍으로 심판을 시험하자 GPT-4o가 거의 동전 던지기 수준(~50-56%)으로 추락. 결론: 수학·코드·사실처럼 검증 가능한 정답이 있으면 선호 심판이 아니라 검증 가능한 체크를 써라.
• Judging the Judges — 퍼센트 일치율은 착시. 우연 보정된 Cohen's kappa로 보고하고, 절대 점수보다 순위가 안정적임을 확인.
• RewardBench 2 — 보상 모델(학습에 심어진 심판)의 평가. v1이 포화되자 미공개 프롬프트로 재구축 — 평균 20점 하락, 그리고 v2 점수만이 실제 다운스트림(best-of-N, RLHF) 성능과 상관.
• 오픈 심판 — KAIST 주도의 Prometheus 2가 대표(데이터를 외부 API로 못 보내는 팀의 답). 단 JudgeBench에서 파인튜닝 심판은 어려운 추론에서 프롬프트된 프런티어 심판보다 약했다.

실무 체크리스트: pairwise + 위치 스왑 + 구체적 루브릭 + 다른 패밀리 심판(가능하면 배심원단) + 길이 통제 + 수백 개 인간 라벨로 kappa 검증. 그리고 검증 가능한 정답이 있는 곳에는 심판을 쓰지 마라.

— LLM 평가 방법론 시리즈 ⑤ / 다음 글: 인간 평가와 아레나 — Elo, 그리고 리더보드의 환상