②편에서 시험지의 결함(출처·오류·오염)을 봤다. 이번 편은 더 근본적인 층위다 — 문항이 전부 완벽해도 남는 4지선다라는 형식의 문제, 그리고 눈금이 다 차버린 자라는 문제.
질문을 안 보여줘도 맞히는 시험
이런 실험이 있다(Balepur 외). 모델에게 질문을 아예 보여주지 않고 보기 4개만 제시한 뒤 "정답"을 고르게 한다. 상식적으로는 25% 근처가 나와야 한다. 결과는 — 모델·데이터셋 12개 조합 중 11개에서 무작위를 유의하게 초과했다. 보기들의 문체, 길이, 구체성 같은 표면 단서만으로 정답이 새고 있다는 뜻이다. 4지선다 점수에는 지식만이 아니라 시험 요령이 섞여 든다.
형식 민감도의 다른 증거들은 독파모 시리즈 ③편에서 다뤘으므로 요점만 갱신한다.
- 정답 위치만 이동시켜도 llama-30B의 MMLU가 41.2%~68.2%, 27.0점 움직인다(Zheng 외, 0-shot). — 정정 고지: 독파모 ③편에 27.1로 적었던 값이다. 원표 재확인 결과 68.2−41.2 = 27.0이 맞아 해당 글도 수정했다.
- 이와 별개로 보기 내용을 뒤섞는 실험(Gupta 외)에서는 falcon-40B-instruct가 −27.2%p 하락했다. 숫자가 비슷해 자주 혼용되는데 다른 논문의 다른 조작이다.
- 사소한 형식 변경만으로 리더보드 순위가 최대 8계단 이동한 보고도 있다(Alzahrani 외).
- 그리고 같은 지식을 서술형으로 묻면 4지선다 점수와의 상관이 낮다. 고르는 능력과 생성하는 능력은 다른 능력이다 — 실제 서비스에서 모델이 하는 일은 후자다.
눈금이 다 찼다 — 포화 연표
| 시점 | 모델 | MMLU |
|---|---|---|
| — | 무작위 찍기 | 25.0 |
| 2020 | GPT-3 | 43.9 |
| 2022 | Chinchilla | 67.6 |
| 2023 | GPT-4 | 86.4 |
| 2023-12 | Gemini Ultra | 90.04 — 인간 전문가선(89.8) 첫 돌파 |
| 현재 | 상위 15개 모델 | 89.4~92.5에 밀집 (폭 3.1%p) |
(Chinchilla는 본문 표 평균 67.6, 초록 표기 67.5. Gemini Ultra 90.04는 CoT@32 조건이며 5-shot은 83.7 — 측정 조건이 다른 값을 한 표에 넣는 위험은 독파모 ③편에서 다룬 그대로다.)
상위 15개가 3.1%p 안에 몰려 있고, ②편에서 봤듯 시험지 오류율이 6.49%다. 상단에서 이 시험은 2024년에 변별력을 잃었다. 업계의 대응은 시험지 교체다:
- MMLU-Pro — 보기를 4개에서 10개로 늘리고 추론형 문항을 보강. 기존 문항 5,886개를 "너무 쉬움"으로 폐기했고, 같은 모델들의 점수가 평균 16%p 하락했다.
- MMLU-Redux — 오류 문항 정정판(②편).
- Global-MMLU(Cohere) — 문화 의존성 감사판. MMLU의 28%가 문화 지식 문항이고, 그중 86.5%가 서구, 서구 중 73.9%가 미국 특정 지식임을 밝혔다. 번역해도 미국 시험지라는 뜻이다. 한국어로 기계번역한 MMLU가 한국어 실력 평가가 될 수 없는 구조적 이유다.
- HLE(Humanity's Last Exam) — "다음 MMLU"를 표방한 고난도 시험. 현재 최고 기록 38.3%(Gemini 3 Pro, lastexam.ai 2026-09 조회) — 아직 눈금이 남은 몇 안 되는 자다.
공정한 결론 — MMLU를 버리라는 말이 아니다
MMLU는 여전히 쓸모가 있다. 단, 용도가 정해져 있다.
| 용도 | 판정 |
|---|---|
| 경량·중형 모델의 체급 구분 | ○ (아직 변별됨) |
| 자사 모델 배포 전 회귀 테스트 | ○ (싸고 빠름) |
| 2020년부터의 역사적 추세선 | ○ (유일한 연속 눈금) |
| 프런티어 모델 간 서열 판정 | × (포화 + 오류율 > 간격) |
| 한국어 실력 예측 | × (미국 중심 + 번역 무효) |
"진짜 실력은 MMLU로 판단한다"는 주장의 1차 판결은 이렇다 — 이 시험지가 재는 것은 '2023년 수준까지의, 영어권 중심의, 4지선다 지식 회상'이다. 어떤 실력을(지식 회상만), 누구의 실력을(상단은 포화), 어느 언어의 실력을(미국 영어) 특정하지 않으면 저 문장은 성립하지 않는다.
그럼 함께 인용된 다른 시험지는 어떤가. 다음 편 — 벨레벨레라는 시험을 아십니까. MMLU는 다들 알지만, 함께 인용되는 이 시험의 실물을 열어 본 사람은 의외로 드물다.
— 벤치마크는 실력을 재는가 ③ / 다음 글: 벨레벨레라는 시험을 아십니까 — Belebele 해부
댓글 없음:
댓글 쓰기
국정원의 댓글 공작을 지탄합니다.