LLM 평가 방법론 ③ — 지식·추론 벤치마크의 계보: MMLU에서 인류 최후의 시험까지

모델 카드마다 등장하는 지식·추론 벤치마크들의 족보다. 2026년 현재 이 계보는 뚜렷한 3층 구조다: 완전 포화층(은퇴), 현역 프런티어층, 그리고 그 아래 숨은 병목 — 벤치마크 자체의 오류율.

1층: 포화되어 은퇴한 것들

• ARC·HellaSwag·WinoGrande (2018-19) — 상식 추론 트리오. GPT-4가 2023년에 이미 인간과 동률. HF Open LLM Leaderboard가 2024년 6월 v2 개편에서 "포화 및 오염"을 이유로 공식 퇴출시킨 상징적 사건. 이제 소형 모델 중간점검용.
• MMLU (2020) — GPT-3 43.9% → 2024년 90%+ 포화. 결정타는 MMLU-Redux: 전문가 재검수 결과 문항의 6.49%가 오류(Virology는 57%). 포화 구간에서 상위 모델 간 1~2%p 차이는 모델 실력이 아니라 채점 노이즈다.
• GPQA Diamond (2023) — "구글 검색해도 못 푸는" 박사급 198문항. 해당 분야 박사 정답률 65%(오류 제외 74%)인데 2026년 프런티어 추론 모델은 85~90% — 전문가 상한을 넘겼으니 여기서부터는 점수 해석 불가.
• BBH → BBEH — BBH가 포화되자 DeepMind가 같은 추론 축의 더 어려운 태스크로 전면 교체(2025). 최고 범용 모델이 조화평균 9.8%, 추론 특화도 44.8% — "리부트"형 갱신 패턴의 표본.

2층: 현역 프런티어

• Humanity's Last Exam — 2,500문항, 2026년 최고 38.3%(Gemini 3 Pro). 단, FutureHouse 검증: 화학·생물 문항의 약 29%가 문헌과 모순 — 난도를 극단으로 올리면 검증 가능성이 무너진다. HLE 숫자를 인용할 땐 오류율을 병기하라.
• FrontierMath — 연구급 수학. o3가 25%를 발표하며 유명해졌지만, v2에서 문항의 42%를 수정했고 OpenAI가 자금·독점 접근권을 가진 사실이 뒤늦게 알려져 "심판의 중립성" 논란. 벤치마크의 자금 출처도 확인 대상이다.
• ARC-AGI-2 — 일반인 400명은 전부 풀었는데(인간에겐 쉬움) 프런티어 모델은 40%대. o3의 ARC-AGI-1 87.5%는 172배 연산을 쓴 결과라 "태스크당 $10,000 미만만 표기"라는 성능-비용 2축 문화의 진원지가 됐다.
• MathArena — AIME·HMMT 등 수학 대회가 열린 직후(학습 컷오프 이후) 평가해 오염을 시간축으로 차단. AIME 2024 점수가 2025보다 유의미하게 높은 모델들 = 오염의 크기. 현재 종합 1위 Claude Opus 5 84.4%.

한국어: 같은 사이클의 반복

KMMLU(2024)는 번역이 아니라 한국 자격시험 기출로 만든 45분야 35,030문항 — 공개 당시 GPT-4가 약 60%로, 영어 MMLU 86%와의 격차가 "영어 점수는 한국어를 보증하지 않는다"를 증명했다. 이후 오류를 정리한 KMMLU-Redux와 전문 자격시험 기반 KMMLU-Pro(2025)가 나오며 "포화 → 재검수 → Pro화" 사이클이 한국어에서도 반복 중이다.

한 줄 교훈: 정적 객관식 점수를 인용할 때는 포화 여부와 자체 오류율을 반드시 병기하고, 모델 비교에는 컷오프 이후 문제로 평가하는 롤링 벤치마크를 우선하라.

— LLM 평가 방법론 시리즈 ③ / 다음 글: 코드·수학·에이전트 벤치마크 — 실행이 곧 채점이다