LLM 평가 방법론 ① — 평가는 왜 어려운가: 포화의 역사와 굿하트의 법칙

새 모델이 나올 때마다 "MMLU 90%!" 같은 숫자가 쏟아진다. 이 숫자는 얼마나 믿을 만한가? 이번 시리즈는 LLM 평가 방법론의 총정리다 — 벤치마크의 계보와 포화, LLM 심판의 편향, 오염과 통계, 안전·RAG·멀티모달, 그리고 한국어 생태계까지 11편.

점수 0의 함정

Anthropic의 평가 실패담에 이런 일화가 있다. 편향 벤치마크(BBQ)에서 어떤 모델이 편향 점수 0을 받았다. 편향 없는 모델의 탄생? 아니 — 아예 답변을 안 해서 0이었다. 같은 글의 고백들: MMLU는 선택지 표기를 (A)에서 (1)로 바꾸는 것만으로 정확도가 ~5%p 흔들리고, BBQ 벤치마크 구현에는 엔지니어 1명이 꼬박 1주일, 개발에는 8명이 6개월을 썼다. 평가는 공짜가 아니고, 숫자는 액면 그대로가 아니다. 극단적으로는 프롬프트 형식만 바꿔 76%p까지 점수가 흔들린 연구도 있다(FormatSpread).

포화의 역사 — 움직이는 과녁

• GLUE (2018) — 문장 이해 9종. 출시 약 1년 만에 모델이 인간 기준선(87.1)을 추월.
• SuperGLUE (2019) — 더 어렵게 다시 만들었지만 2년 만에 인간(89.8) 추월.
• MMLU (2020) — 57과목 1.4만 문항. GPT-3 43.9% → GPT-4 86.4%(2023) → 2024년 이후 90%+로 포화. 게다가 재검수 결과 문항의 6.49%가 오류였다(Are We Done with MMLU? — Virology 과목은 57%).
• Humanity's Last Exam (2025) — 50개국 전문가 1,000명이 만든 "인류 최후의 시험" 2,500문항. 출시 때 최고 모델이 한 자릿수 → 1년 만에 38.3%. 최후의 시험조차 빠르게 정복되는 중.

패턴은 명확하다: 더 어려운 벤치마크를 만들면, 더 빨리 정복된다.

굿하트의 법칙

"측정이 목표가 되는 순간, 좋은 측정이기를 멈춘다." 2025년 The Leaderboard Illusion은 이 법칙이 최전선에서 실제로 작동함을 보였다 — Meta는 Llama 4 출시 전 27개의 비공개 변형을 아레나에서 몰래 테스트한 뒤 최고 점수만 공개했다(⑥편에서 자세히).

평가의 네 가지 접근, 그리고 한 가지 구분

• 정적 벤치마크 — MMLU류. 싸고 재현 가능하지만 오염·포화에 취약 (③④편)
• LLM 심판 — 인간 선호와 80%+ 일치, 그러나 체계적 편향 보유 (⑤편)
• 인간 평가·아레나 — 실사용을 반영하지만 비싸고 게이밍 가능 (⑥편)
• 실행 기반 — 코드 테스트 통과, DB 최종 상태 등 검증 가능한 채점 (④편)

여기에 Apollo Research의 구분 하나: capability(그 행동을 "할 수 있는가" — 상한 측정) vs propensity(그 행동을 "하려는 경향이 있는가" — 기본값 측정). 위험한 능력이 있어도 절대 쓰지 않도록 정렬할 수 있다 — 두 축은 독립이며, 안전 평가는 이 구분 위에 서 있다.

한 줄 요약: 공개 벤치마크 점수는 능력의 하한도 상한도 아닌, 오염·포맷 민감성·잡음이 섞인 노이지한 신호다. 이 시리즈는 그 신호를 읽는 법을 다룬다.

— LLM 평가 방법론 시리즈 ① / 다음 글: 고전 지표의 흥망 — BLEU와 ROUGE는 왜 버려졌나