벤치마크는 실력을 재는가 ⑧ (완결) — 그래서 우리 회사는 무엇으로 판단하는가: CTO의 판단 절차

①편의 문장으로 돌아가자 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 일곱 편에 걸친 심사 결과를 집계한다.

판결문

읽는 법	판정	근거
"체급 스크리닝은 벤치마크로 한다"	참	점수들의 단일 축이 분산 80~97%를 설명, 컴퓨트와 R²>0.9 (⑤)
"회귀 게이트·역사적 눈금으로 쓴다"	참	1% 컴퓨트로 2%p 예측, 2020년부터의 연속 눈금 (③⑤)
"같은 체급 안의 서열을 가린다"	거짓	상단 밀집 3.1%p < 오류율 6.49%, 겉상관 91.3% vs 실질 26.1% (②③⑤)
"제품 품질을 보증한다"	거짓	GDPval 역전, 71.2% vs 1.96%, pass^1 vs pass^8, GPT-4o 사고 (⑥)
"한국어 실력을 판단한다 (MMLU·Belebele로)"	거짓	MMLU 문화 문항의 86.5%가 서구 지식, Belebele은 영어 시험의 번역본 (③④)
"오래 유효하다"	거짓	최근 벤치마크 수명 1~2년, 능력은 7개월마다 배증 (⑦)

한 줄 판결: 조건부 참. "체급·회귀·눈금"으로 읽으면 참이고, "서열·품질·한국어"로 읽으면 거짓이다. 그리고 저 문장은 대개 후자의 뜻으로 쓰인다.

한국 진단 한 단락

한국의 관행적 위험은 두 가지다. 수명이 끝난 포맷의 이식(원판 포화 원년에 한국판 출시, 번역 벤치마크 의존)과 수명 설계의 부재(LogicKor의 1년). 다행히 다음 세대는 이미 있다 — 원전 제작(KoBALT·HAE-RAE), 수명주기 내장(KAIO의 80%-교체 정책), 실무 과업 기반(Ko-GDPval). KMMLU를 쓸 거라면 오류를 정정한 Redux/Pro를 쓰는 것이 낫다(원판의 결함과 라이선스 문제는 독파모 ⑧편 참조).

우리 회사의 판단 절차 — 7단계

이 시리즈의 실무 결론이다. 필자 회사(LLM을 만들고 쓰는 입장이므로 이해관계가 있음을 밝힌다)의 평가 파이프라인에 그대로 반영하는 절차다.

1. 공개 벤치마크는 체급 스크리닝까지만. 후보군을 추릴 때 쓰되, 신뢰구간이 겹치는 모델은 동급으로 처리한다. 1~3%p 차이로 순위를 매기지 않는다(1,000문항의 탐지 한계가 3%p다).
2. 오염을 확인하고 본다. 후보 모델의 학습 컷오프와 벤치마크 공개일의 선후를 확인하고, 중요한 결정이면 TS-Guessing류 검사를 직접 돌린다(기법은 독파모 ⑪편).
3. 최종 판단은 자사 태스크 홀드아웃으로. GDPval의 원형을 빌린다 — 우리 서비스의 실제 과업으로 비공개 평가셋을 만들고, 주기적으로 교체한다. 구축 비용은 300문항 기준 수백만 원(독파모 ⑫편의 가격표).
4. 단발이 아니라 반복으로 잰다. pass^k(k회 연속 성공)를 기본 지표로. 데모 성공률 61.2%가 프로덕션에선 25% 미만이 되는 간극이 우리 서비스에도 있다.
5. 사람 평가는 스타일을 통제하고. 길이·서식을 맞춘 블라인드 비교로, 그리고 전문가의 "느낌이 이상하다"를 기각하지 않는 절차로. GPT-4o 사고의 교훈이다.
6. 점수 옆에 단위 있는 지표를. 시간지평(어느 길이의 과제까지 믿고 맡길 수 있나), 과제당 비용, p95 지연. 점수는 갈아 끼워도 이 축들은 추세선이 이어진다.
7. 쓰는 벤치마크의 라이선스와 수명을 확인한다. ND/NC 라이선스는 상업적 보고를 제약하고, 어떤 시험이든 1~2년 뒤에는 죽는다 — "우리 회사의 KPI 벤치마크는 언제 죽는가"를 분기마다 묻는다.

마치며 — 시리즈의 투명성 마감

이 시리즈에서 확인하지 못해 쓰지 않은 것들을 남긴다: MMLU와 아레나 Elo의 공식 상관계수(발표된 것이 없다), Belebele의 독파모 벤치마크 포함 여부(데이터셋 단위 목록 미공개), 프런티어 랩들의 내부 Belebele 사용 여부(공개 보고의 부재가 사용의 부재를 증명하지 않는다). 그리고 이번 시리즈를 쓰며 발견한 필자의 이전 오류 하나(보기 순서 스윙 27.1 → 27.0)는 해당 글을 수정하고 ③편에 고지했다.

마지막 문장은 이렇게 쓰고 싶다. "진짜 실력은 벤치마크로 판단합니다"라는 문장의 가장 큰 문제는 틀렸다는 게 아니라, 판단을 끝내준다는 착각을 준다는 것이다. 벤치마크는 판단의 시작이다 — 체급을 확인했으면, 이제 우리 일을 시켜 보고, 반복시켜 보고, 사람에게 블라인드로 보여주고, 가격표를 붙여야 한다. 그 나머지 절차 전부가 "판단"이라는 단어의 실제 내용이다.

— 벤치마크는 실력을 재는가 ⑧ (완결) / 관련 시리즈: 독파모 평가 해부(평가 설계·통계), 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용)

벤치마크는 실력을 재는가 ⑦ — 모든 시험지는 죽는다: 수명주기와 심리측정학 100년

2024년 10월, 한국어 생성 평가 리더보드 LogicKor가 이런 공지와 함께 문을 닫았다 — "상위권 모델에 대한 변별력이 거의 없어졌습니다"(독파모 ⑧편에서 인용했던 그 공지다). 한국만의 일이 아니다. 이건 모든 벤치마크의 운명이고, 이번 편은 그 부고들의 연대기다.

부고 연대기 — 수명은 줄어들고 있다

시험지	출시	사망 판정	수명
GLUE	2018	인간 기준선(87.1) 추월	약 1년
SuperGLUE	2019	DeBERTa 90.3 > 인간 89.8	약 1.7년
MMLU	2020	인간 전문가선 돌파(2023-12), 상단 밀집	약 3.5년*
BIG-Bench-Hard	2022	후속 논문이 "사실상 만점" 판정	약 2년
GPQA Diamond	2023	상위 24개 모델이 90%+ (2026)	약 2년
SWE-bench Verified	2024	최고 97.0%, 7개 모델 95%+ (2026-08)	약 2년

(*MMLU의 3.5년은 예외처럼 보이지만, 출시 시점 최강 모델이 43.9%였던 — 시대를 앞서 나온 — 시험이라서다. 제3자 집계는 vals.ai·llm-stats 2026-09 조회 기준.)

패턴이 보인다. 최근 세대는 난이도와 무관하게 1~2년 안에 죽는다. "박사급도 어렵다"던 GPQA도, "실제 저장소 이슈"라던 SWE-bench Verified도 2년이었다. 이유는 단순하다 — 뒤에서 볼 METR 측정으로 모델 능력이 약 7개월마다 배증하는데, 시험지는 고정돼 있다.

사인은 세 가지, 그리고 겉으로는 구분이 안 된다

1. 능력 성장 — 정직한 죽음. 모델이 정말 강해져서 시험이 쉬워진 경우.
2. 오염 — 공개된 순간부터 부패가 시작된다. 학습 컷오프 전후 벤치마크 점수를 비교한 자연실험이 이 효과를 실증했고, GSM1k의 −8%p가 그 크기의 실측이다.
3. 굿하트 최적화 — 시험이 목표가 되는 순간(⑥편). 27개 비공개 변종, +112% 같은 숫자들.

문제는 리더보드 점수만 봐서는 셋을 구분할 수 없다는 것이다. 점수 상승이 실력인지 유출인지 적응인지 — 신작 홀드아웃 문항과 대조하기 전까지는 알 수 없다.

"인간 수준 돌파"의 속사정

부고 기사의 단골 표현 "인간 수준 돌파"에는 확인할 것이 하나 있다 — 그 인간이 누구였는가. GLUE의 인간 기준선 87.1은 예시 20개를 보고 투입된 크라우드워커였다. GPQA의 인간 기준선 74%는 해당 분야 박사였다. 같은 "human-level"이라는 말이 완전히 다른 두 사건을 가리킨다. 그리고 그 박사조차 추월된 지금(GPQA 90%+), 그 시험은 여전히 어떤 국가 평가의 구성 지수 안에 들어 있다 — 독파모가 25점을 위탁한 AAII의 6%가 GPQA Diamond다.

살아남는 것들의 설계

죽음에 대응하는 설계는 네 계열이고, 각자 대가를 치른다: 더 어렵게(HLE·FrontierMath — 그래도 죽는다, 연장일 뿐), 매달 새로(LiveBench — 시계열 비교를 잃는다), 비공개로(SEAL류 — 운영자 신뢰를 요구한다), 실제 과업으로(SWE-bench·GDPval — 고정하는 순간 또 죽는다). 그중 눈에 띄는 둘:

• ARC-AGI — 품위 있게 늙는 법. 5년을 버틴 예외적 시험인데, 비결은 불사가 아니라 계획된 세대교체다(v1 → v2 → v3). 그리고 점수 옆에 가격표를 붙인다 — o3가 v1에서 75.7%를 얻는 데 과제당 수십 달러, 고연산 설정의 87.5%에는 자릿수가 다른 비용이 들었고, v2에서는 사람이 과제당 $17로 푸는 문제를 모델은 $200을 쓰고도 못 푸는 구간이 존재한다. 점수만 보면 안 보이는 격차가 비용축에서 드러난다.
• METR 시간지평 — 점수가 아니라 단위가 있는 지표. "모델이 50% 확률로 완수하는 과제의 (인간 기준) 소요 시간"을 재고, 이 지평이 약 7개월마다 2배가 된다는 추세를 발표한다. GPT-5 기준 50% 지평 2시간 17분(신뢰구간 65분~4시간 25분). 그런데 같은 모델의 80% 성공 지평은 약 25분(신뢰구간 8~65분) — 5.5배 간극이다. 데모가 되는 것과 믿고 맡기는 것 사이의 거리를, 이 지표는 정의상 담고 있다. 시험지를 갈아 끼워도 추세선이 이어진다는 게 결정적 장점이다.

측정학은 이미 답의 골격을 갖고 있다

이 모든 것이 새 문제 같지만, 시험의 죽음을 제도화한 학문이 이미 100년째 있다 — 교육측정학이다. 문항은행과 노출 관리(같은 문항을 계속 쓰지 않는다), 동등화(다른 시험지의 점수를 같은 눈금으로 잇는다), 재규준(기준 집단을 주기적으로 갱신한다). 수능과 토플이 매년 새 문제로도 연도 간 비교가 가능한 이유가 전부 여기 있다. 그리고 Campbell은 1979년에 이미 썼다 — 정량 지표가 의사결정의 목표가 될수록, 그 지표는 부패하고 지표가 재려던 과정도 왜곡된다. 굿하트는 AI 문제가 아니라 측정의 보편 법칙이다.

한국 함의는 아프다. 원판이 포화된 해에 한국판을 들여오는 패턴(MMLU 2020 → KMMLU 2024, 그리고 1년 만의 Redux/Pro 개정), 1년 만에 변별력을 잃은 LogicKor. 반가운 예외도 생겼다 — 최근의 한국 벤치마크 KAIO는 "80% 도달 시 공개하고 교체한다"는 수명주기를 설계에 내장했다. 시험지의 죽음을 전제하는 첫 한국 시험지다.

이제 재료가 다 모였다. 마지막 편 — ①편의 문장으로 돌아가 판결문을 쓰고, 우리 회사의 판단 절차 7단계를 확정한다.

— 벤치마크는 실력을 재는가 ⑦ / 다음 글: 그래서 우리 회사는 무엇으로 판단하는가 (완결)

벤치마크는 실력을 재는가 ⑥ — 그런데 왜 배신당하는가: 잔차의 세계와 굿하트

⑤편의 결론은 "벤치마크는 체급을 잘 잰다"였다. 이번 편은 그 반대면 — 점수가 효용을 배신하는 지점들의 실증이다. 패턴은 세 가지다: 실무는 잔차에 살고, 형식이 갈라놓고, 최적화가 상관을 죽인다.

배신 ① 실무 산출물에서 순위가 뒤집힌다

먼저 용어 정리 하나. 이름이 비슷한 세 가지가 있다 — GDPval(OpenAI의 실제 직무 과제 평가), GDPval-AA v2(Artificial Analysis가 운영하는 별도 Elo 버전, AAII의 20% 구성요소), Ko-GDPval(업스테이지의 자체 한국어판, 비공개). 여기서 말하는 건 첫 번째다.

GDPval은 44개 직군의 실제 직무 산출물(보고서, 스프레드시트, 슬라이드 등)을 전문가가 블라인드 비교하는 평가다. 결과 — 학술 벤치마크 다수에서 앞서던 GPT-5가 승률+무승부 39.0%, Claude Opus 4.1이 47.6%로 순위가 뒤집혔다. 전문가들이 본 것은 지식의 양이 아니라 산출물의 완성도 — 서식, 지시 준수, 실제로 제출 가능한 물건인지 — 였다. (아직 n=1 평가라는 한계는 명시해 둔다.)

코딩에서는 격차가 더 극적이다. 같은 Claude 2가 HumanEval 71.2%, SWE-bench 1.96%였다. 함수 하나 짜기와 실제 저장소에서 이슈 해결하기는 36배 차이 나는 다른 과제다. 에이전트 과제(τ-bench)에서는 또 다른 축이 갈라진다 — GPT-4o가 1회 시도 성공률 61.2%, 8회 연속 성공률(pass^8)은 25% 미만. 데모 성공률과 프로덕션 신뢰성은 다른 지표다(서강대 수능 평가의 24.6%p 격차와 같은 구조 — 독파모 ⑧편).

배신 ② 사람 선호도 벤치마크를 배신한다

사람 선호(아레나) 쪽 편향은 독파모 ⑤편에서 다뤘다 — 길이 계수 0.249가 서식 효과의 8~13배라는 것. 이번에 추가할 것은 그 효과의 크기다: 스타일을 통제하자 GPT-4o-mini가 6위→11위로, 다른 모델이 6위→18위로 이동했다. 지식 벤치마크와 선호 벤치마크는 서로 다른 실력을 재고, 그 간극에 문체가 산다.

배신 ③ 최적화가 시작되면 상관은 죽는다

⑤편의 상관 구조는 아무도 그 벤치마크를 목표로 삼지 않았을 때의 이야기다. 목표가 되는 순간:

• 아레나 데이터로 파인튜닝하면 ArenaHard 승률이 23.5% → 42.7% → 49.9%로 상대 +112% 뛴다. 같은 기간 MMLU는 66.5 → 64.4 → 65.9 — 제자리다(변동폭이 노이즈 안). 아레나 실력이 늘어난 게 아니라 아레나 적응이 늘어난 것이고, 상관은 그 지점에서 끊어진다.
• Llama 4의 아레나 제출 변형 논란(공개판과 다른, 대화 최적화 변형으로 순위 획득)은 이 메커니즘의 실전 사례다.
• GSM1k(기존 수학 벤치와 같은 난이도의 신작 문항)에서 일부 모델은 최대 8%p 떨어졌고, 하락 폭은 암기 지표와 상관(r²=0.36)했다.

가장 비싼 사고 — "오프라인 평가는 좋아 보였다"

2025년 4월, OpenAI는 GPT-4o 업데이트를 롤백하며 사후 분석을 공개했다. 요지는 이렇다 — 오프라인 평가들은 대체로 좋아 보였고, A/B 테스트는 사용자들이 좋아한다고 나타났다. 일부 전문가 테스터가 "뭔가 이상하다(felt off)"고 했지만 정량 신호가 우선됐다. 배포 결과는 과도한 아첨으로 인한 대규모 반발과 롤백이었다.

이 사건이 이 시리즈에서 중요한 이유: 벤치마크와 A/B라는 두 정량 관문을 모두 통과한 배포가 실패했고, 그걸 미리 잡은 유일한 신호는 전문가의 직관이었다. "정량 평가가 좋으면 배포한다"는 규칙의 반례가, 가장 평가를 잘한다는 조직에서 나왔다. 교훈은 정량 평가를 버리라는 게 아니라 — 전문가의 "느낌이 이상하다"를 데이터로 취급하라는 것이다.

이 편의 판결

⑤편과 이번 편을 합치면 시리즈의 중심 문장이 완성된다.

"벤치마크는 체급을 재고, 제품 품질은 잔차에 산다.
그리고 벤치마크가 목표가 되는 순간, 체급과의 상관마저 죽는다."

실무 규칙으로 번역하면 — 1~3%p 차이는 버려라(1,000문항의 탐지 한계가 3%p다, 독파모 ③편). 배수 차이는 믿어라(1.96% vs 70%대는 진짜다). 그리고 목표로 삼는 순간 그 지표는 계기판이기를 멈춘다.

남은 질문은 시간축이다. 좋은 벤치마크를 골라도, 그 벤치마크는 얼마나 오래 좋은 채로 남아 있는가. 다음 편 — 모든 시험지는 죽는다. 문제는 죽는지가 아니라, 얼마 만에 어떤 사인으로 죽는지다.

— 벤치마크는 실력을 재는가 ⑥ / 다음 글: 모든 시험지는 죽는다 — 수명주기와 심리측정학 100년

벤치마크는 실력을 재는가 ⑤ — 점수들은 함께 움직인다: 벤치마크가 실제로 재는 것

여기까지 읽었다면 "벤치마크는 전부 엉터리"라는 결론으로 기울었을 것이다. 이번 편은 그 결론을 막는 편이다. 벤치마크 무용론에는 나쁜 소식이 있다 — 점수들은 저차원으로, 놀랍도록 함께 움직인다.

LLM에도 g가 있다

서로 다른 벤치마크 점수들을 모아 주성분 분석을 돌리면 이런 그림이 나온다.

• 공개 모델 수백 개의 벤치마크 점수에서 제1주성분(PC-1)이 분산의 약 80%를, 상위 3개 주성분이 약 97%를 설명한다(관찰적 스케일링 법칙 연구).
• 리더보드 모델 1,232개를 분석한 별도 연구에서는 단일 일반 요인(g)이 성능 분산의 85%를 설명했다.
• HELM 데이터의 요인 분석에서도 소수 요인이 대부분을 설명한다는 같은 구조가 나온다.

심리측정학에서 인간 지능 검사들이 서로 상관을 보이며 일반 지능 g를 정의했던 것과 같은 구조다. 그리고 이 축은 허공에 뜬 게 아니다 — PC-1과 학습 컴퓨트(log FLOPs)의 결정계수가 R² > 0.9다. 벤치마크들이 공통으로 재고 있는 그 무언가는 상당 부분 모델의 체급(컴퓨트가 만든 일반 능력)이다.

이 축은 예측력도 있다

"체급을 잰다"는 말이 공허하지 않은 이유는 실제 예측이 되기 때문이다.

• AI2의 모델 사다리 연구는 타깃 컴퓨트의 1%만 쓰고 7B/13B 모델의 태스크 정확도를 절대오차 2%p 이내로 예측했다(친칠라 시리즈 ⑫편에서 다룬 그 결과다).
• 관찰적 스케일링 연구는 약한 모델들의 기본 벤치마크 점수만으로 더 강한 모델의 에이전트 성능을 홀드아웃 예측하는 데 성공했다.

즉 — "진짜 실력은 벤치마크로 판단한다"를 "모델의 체급은 벤치마크로 판단한다"로 읽으면, 그 문장은 참이다. 7B와 프런티어를 구분하고, 후보 30개를 5개로 추리고, 새 체크포인트의 퇴행을 잡는 데 벤치마크는 실제로 작동한다. 이 시리즈의 첫 절반이 보여준 모든 결함에도 불구하고 그렇다.

그런데 상관에는 두 가지 함정이 있다

함정 1 — 겉상관과 실질 변별은 다르다. LMSYS 자신의 분석에서 MT-Bench는 아레나 순위와 스피어만 상관 91.3%를 보였다. 훌륭해 보인다. 그런데 같은 분석에서 신뢰구간을 고려한 일치율은 26.1%였다. 상관은 "대체로 같은 방향"이라는 뜻이지 "이 모델 쌍의 우열을 맞힌다"는 뜻이 아니다. 순위표 전체의 기울기와 인접한 두 모델의 비교는 완전히 다른 문제다(독파모 시리즈 ⑤편의 분리도 개념이 바로 이것이다).

함정 2 — 상관 수치는 모델 집합에 의존한다. 7B부터 프런티어까지 섞어 놓으면 무엇이든 상관이 높게 나온다 — 체급 차이가 다 쓸어담기 때문이다. 같은 체급끼리 좁혀서 다시 재면 상관은 크게 약해진다. "벤치마크 간 상관 0.9"라는 숫자를 볼 때는 어떤 모델들을 섞어서 잰 상관인지부터 확인해야 한다.

중간 판결

4심급(①오염 ②형식 ③포화 ④상관) 중 ④의 전반부 판결은 이렇다.

• 벤치마크는 체급을 잰다 — 잘 잰다. 점수들은 컴퓨트에 묶인 단일 축으로 거의 다 설명되고, 그 축은 외삽 예측까지 된다.
• 따라서 트리거 문장을 스크리닝과 회귀 게이트로 읽으면 참이다.
• 그러나 같은 체급 안의 서열 판정은 상관이 보증하지 않는다 — 겉상관 91.3%가 실질 일치 26.1%로 무너지는 지점이 정확히 거기다.

그렇다면 남는 질문은 하나다. 체급이 같은 모델들 사이에서, 혹은 체급으로 설명되지 않는 영역에서 — 점수와 실제 효용은 왜, 어디서, 얼마나 갈라지는가. 다음 편은 그 갈라짐의 실증이다. 예고편: 학술 벤치마크에서 앞서던 모델이 실제 직무 산출물 평가에서 뒤집힌 사건, 같은 모델의 코딩 점수가 71.2%와 1.96%로 동시에 존재하는 사건.

— 벤치마크는 실력을 재는가 ⑤ / 다음 글: 그런데 왜 배신당하는가 — 잔차의 세계와 굿하트

벤치마크는 실력을 재는가 ④ — 벨레벨레라는 시험을 아십니까: Belebele 해부

MMLU는 다들 안다. 그런데 함께 인용되는 Belebele(벨레벨레)이 무엇인지 아는 사람은 의외로 드물다. 검색해 보면 한국 웹에는 이 시험에 대한 해설이 사실상 없다(한글 표기로 검색하면 축구선수가 나온다). 그래서 실물을 열어 본다.

시험지 실물

Belebele은 Meta가 2023년 공개한 다국어 독해 시험이다(arXiv 2308.16884, ACL 2024). 구조는 이렇다.

• FLORES-200 코퍼스에서 가져온 지문 488개에, 지문당 1~2개씩 총 900문항의 4지선다.
• 같은 900문항이 122개 언어 변형(구별 언어로는 115개)으로 존재한다 — 완전 병렬 109,800행. 한국어는 kor_Hang.
• 정답은 항상 지문 안에 있다. 생성 능력, 추론 깊이, 문화 지식, 긴 문맥은 전부 시험 범위 밖이다. 짧은 지문을 읽고 답을 찾는 능력, 그게 전부다.

제작 품질 관리는 성실했다 — 5라운드 반복 제작에 최종 라운드에서 약 20%를 폐기했고, 정답 분포 검정과 편향 베이스라인 점검까지 했다. 시험지 자체는 잘 만든 물건이다. 문제는 그다음이다.

출생의 비밀 — 문항은 전부 영어로 태어났다

Belebele의 900문항은 전부 영어로 작성된 뒤 번역업체(LSP)가 121개 언어로 옮긴 것이다. 지문 역시 FLORES-200 — 영어 위주 원문을 전문 번역한 코퍼스다. 논문 스스로 한계 절에 translationese(번역투)와 FLORES 원문의 번역 오류를 명시했다.

이게 무슨 뜻인가. Belebele 한국어판은 한국어 시험이 아니라, 영어 시험의 한국어 번역본이다. 이 시험의 한국어 점수가 재는 것은 "번역된 위키 문체의 한국어를 읽고 번역된 질문에 답하는 능력"이지, 실제 한국어 사용자가 쓰는 언어 — 조사·존대·생략·한자어 층위 — 의 처리 능력이 아니다. ③편에서 본 Global-MMLU의 발견("번역해도 미국 시험지")과 정확히 같은 구조다.

점수의 역사 — 그리고 사라진 보고

시점	모델	영어	한국어
2023 (논문)	GPT-3.5	87.7	71.8
2023 (논문)	Llama-2-70B	90.9	72.9
2024	EXAONE 3.0 7.8B	—	78.6
2025	Gemma-2-9b-it	93.3	—
(참고)	사람	97.6	—

2023년의 "어려운 시험"이 2년 만에 9B짜리 오픈 모델도 93점을 넘는 시험이 됐다. 고자원 언어에서는 포화다. 저자원 언어에서만 변별력이 남아 있는데, 그건 정확히 Meta가 이 시험을 만든 목적이다 — 프런티어의 실력 서열이 아니라 저자원 언어 커버리지 측정.

채택 계보도 시사적이다. 필자가 국내외 주요 테크리포트를 확인한 범위에서, Belebele을 보고한 국내 모델은 EXAONE 3.0(한국어 서브셋에서 당시 1위)과 DNA 1.0 둘이었고, EXAONE 3.5부터는 LG 자신도 이 시험을 표에서 뺐다. 국내 관행은 KMMLU·HAE-RAE·CLIcK·KoBALT — 한국어로 태어난 시험들 — 로 이동을 마쳤다. 해외 프런티어 리포트(Gemini·Gemma·Aya 등)에서도 2023년 이후 Belebele 보고를 찾지 못했다. 확인 못 한 것이 없다는 증명은 아니지만, 적어도 공개 보고 관행에서 이 시험이 사라진 것은 분명하다.

도구에는 죄가 없다

오해를 막기 위해: Belebele은 나쁜 벤치마크가 아니다. 122개 언어에 완전히 동일한 내용의 시험지를 제공하는 유일한 자원이고, 저자원 언어를 다루는 팀에게는 지금도 대체재가 없다. 스와힐리어와 한국어와 영어의 독해력을 같은 문항으로 비교할 수 있는 건 이 시험뿐이다.

문제는 인용 방식이다. "진짜 실력은 Belebele로 판단합니다"는 도구의 사용설명서를 거꾸로 읽은 문장이다. 저자원 언어 커버리지 스크리닝용으로 만들어진, 영어에서 번역된, 고자원 언어에서는 포화됐고, 제작사 진영조차 더 이상 보고하지 않는 독해 시험이다. 이걸로 2026년 한국어 모델의 "진짜 실력"을 판단한다는 것은 — 시험지의 어느 속성과도 맞지 않는다.

여기까지가 두 시험지의 해부다. 이제 시리즈의 후반부, 더 일반적인 질문으로 간다 — 벤치마크 점수라는 것이 도대체 무엇을 재고 있으며, 그 점수는 실제 효용을 얼마나 예측하는가. 다음 편은 벤치마크 무용론자들에게 나쁜 소식부터 전한다: 점수들은 놀랍도록 함께 움직인다.

— 벤치마크는 실력을 재는가 ④ / 다음 글: 점수들은 함께 움직인다 — 벤치마크가 실제로 재는 것

벤치마크는 실력을 재는가 ③ — 질문을 안 보여줘도 맞히는 시험: MMLU 해부 (하)

②편에서 시험지의 결함(출처·오류·오염)을 봤다. 이번 편은 더 근본적인 층위다 — 문항이 전부 완벽해도 남는 4지선다라는 형식의 문제, 그리고 눈금이 다 차버린 자라는 문제.

질문을 안 보여줘도 맞히는 시험

이런 실험이 있다(Balepur 외). 모델에게 질문을 아예 보여주지 않고 보기 4개만 제시한 뒤 "정답"을 고르게 한다. 상식적으로는 25% 근처가 나와야 한다. 결과는 — 모델·데이터셋 12개 조합 중 11개에서 무작위를 유의하게 초과했다. 보기들의 문체, 길이, 구체성 같은 표면 단서만으로 정답이 새고 있다는 뜻이다. 4지선다 점수에는 지식만이 아니라 시험 요령이 섞여 든다.

형식 민감도의 다른 증거들은 독파모 시리즈 ③편에서 다뤘으므로 요점만 갱신한다.

• 정답 위치만 이동시켜도 llama-30B의 MMLU가 41.2%~68.2%, 27.0점 움직인다(Zheng 외, 0-shot). — 정정 고지: 독파모 ③편에 27.1로 적었던 값이다. 원표 재확인 결과 68.2−41.2 = 27.0이 맞아 해당 글도 수정했다.
• 이와 별개로 보기 내용을 뒤섞는 실험(Gupta 외)에서는 falcon-40B-instruct가 −27.2%p 하락했다. 숫자가 비슷해 자주 혼용되는데 다른 논문의 다른 조작이다.
• 사소한 형식 변경만으로 리더보드 순위가 최대 8계단 이동한 보고도 있다(Alzahrani 외).
• 그리고 같은 지식을 서술형으로 묻면 4지선다 점수와의 상관이 낮다. 고르는 능력과 생성하는 능력은 다른 능력이다 — 실제 서비스에서 모델이 하는 일은 후자다.

눈금이 다 찼다 — 포화 연표

시점	모델	MMLU
—	무작위 찍기	25.0
2020	GPT-3	43.9
2022	Chinchilla	67.6
2023	GPT-4	86.4
2023-12	Gemini Ultra	90.04 — 인간 전문가선(89.8) 첫 돌파
현재	상위 15개 모델	89.4~92.5에 밀집 (폭 3.1%p)

(Chinchilla는 본문 표 평균 67.6, 초록 표기 67.5. Gemini Ultra 90.04는 CoT@32 조건이며 5-shot은 83.7 — 측정 조건이 다른 값을 한 표에 넣는 위험은 독파모 ③편에서 다룬 그대로다.)

상위 15개가 3.1%p 안에 몰려 있고, ②편에서 봤듯 시험지 오류율이 6.49%다. 상단에서 이 시험은 2024년에 변별력을 잃었다. 업계의 대응은 시험지 교체다:

• MMLU-Pro — 보기를 4개에서 10개로 늘리고 추론형 문항을 보강. 기존 문항 5,886개를 "너무 쉬움"으로 폐기했고, 같은 모델들의 점수가 평균 16%p 하락했다.
• MMLU-Redux — 오류 문항 정정판(②편).
• Global-MMLU(Cohere) — 문화 의존성 감사판. MMLU의 28%가 문화 지식 문항이고, 그중 86.5%가 서구, 서구 중 73.9%가 미국 특정 지식임을 밝혔다. 번역해도 미국 시험지라는 뜻이다. 한국어로 기계번역한 MMLU가 한국어 실력 평가가 될 수 없는 구조적 이유다.
• HLE(Humanity's Last Exam) — "다음 MMLU"를 표방한 고난도 시험. 현재 최고 기록 38.3%(Gemini 3 Pro, lastexam.ai 2026-09 조회) — 아직 눈금이 남은 몇 안 되는 자다.

공정한 결론 — MMLU를 버리라는 말이 아니다

MMLU는 여전히 쓸모가 있다. 단, 용도가 정해져 있다.

용도	판정
경량·중형 모델의 체급 구분	○ (아직 변별됨)
자사 모델 배포 전 회귀 테스트	○ (싸고 빠름)
2020년부터의 역사적 추세선	○ (유일한 연속 눈금)
프런티어 모델 간 서열 판정	× (포화 + 오류율 > 간격)
한국어 실력 예측	× (미국 중심 + 번역 무효)

"진짜 실력은 MMLU로 판단한다"는 주장의 1차 판결은 이렇다 — 이 시험지가 재는 것은 '2023년 수준까지의, 영어권 중심의, 4지선다 지식 회상'이다. 어떤 실력을(지식 회상만), 누구의 실력을(상단은 포화), 어느 언어의 실력을(미국 영어) 특정하지 않으면 저 문장은 성립하지 않는다.

그럼 함께 인용된 다른 시험지는 어떤가. 다음 편 — 벨레벨레라는 시험을 아십니까. MMLU는 다들 알지만, 함께 인용되는 이 시험의 실물을 열어 본 사람은 의외로 드물다.

— 벤치마크는 실력을 재는가 ③ / 다음 글: 벨레벨레라는 시험을 아십니까 — Belebele 해부

벤치마크는 실력을 재는가 ② — 이 시험지, 대학원생이 인터넷에서 긁어왔습니다: MMLU 해부 (상)

세계에서 가장 많이 인용되는 AI 시험지의 출생부터 확인하자. MMLU 논문(Hendrycks 외, 2020)에는 문항의 출처가 이렇게 적혀 있다 — 문항들은 대학원생과 학부생들이 "온라인에서 무료로 구할 수 있는 출처에서 수작업으로 수집"했으며, 출처에는 "GRE나 USMLE 같은 시험의 연습문제"가 포함된다. 총 15,908문항, 그중 테스트셋 14,042문항(논문 본문 표기는 14,079 — 공개 배포본 기준 14,042), 57개 과목.

즉 MMLU는 자체 출제된 시험이 아니다. 인터넷에 이미 있던 문제들의 모음집이다. 2020년에는 이게 문제가 아니었다 — 당시 최강 모델 GPT-3가 43.9%밖에 못 맞혔고, 제작 목적 자체가 "모델의 약점 지도 그리기"였다. 문제는 그다음에 벌어진 일이다. 이후의 모든 대형 모델이 바로 그 인터넷을 통째로 학습했다.

시험지 안에 무엇이 들어 있나 — 6.49%는 오류다

2024년, 연구자들이 MMLU 문항을 재검수했다(MMLU-Redux, 57개 과목 전수에서 5,700문항 재주석). 결과:

• 전체 문항의 6.49%가 오류 — 정답 표기가 틀렸거나, 문제가 성립하지 않거나, 보기가 잘못됐다.
• 과목별 편차가 크다. 최악은 바이러스학(Virology)으로 오류율 57%다. 절반 넘게 틀린 시험지로 바이러스학 실력을 채점해 온 것이다.
• 오류 문항을 제거하고 다시 채점하면 리더보드 16위 모델이 1위가 되는 사례가 보고됐다.

이 오류율이 왜 치명적인지는 현재 리더보드와 겹쳐 보면 안다. 프런티어 상위 15개 모델의 MMLU 점수 폭이 약 3%p다(③편). 순위를 가르는 간격이 시험지 오류율의 절반이다. 상단 순위는 실력 차이가 아니라 어느 오류 문항에 어떻게 걸렸는지의 함수일 수 있다.

오염 — 사고가 아니라 구조

보통 벤치마크 오염은 "테스트셋이 실수로 학습 데이터에 섞이는" 사고로 이야기된다. MMLU는 다르다. 문항이 공개 웹에서 수집됐으므로, 웹을 크롤링해 학습하는 모든 모델에게 이 시험은 태생적으로 오픈북이다. 사고가 아니라 구조다.

증거는 세 겹이다.

1. 출처 자체. 위에서 본 대로 — 문항의 원산지가 학습 코퍼스의 원산지와 같다.
2. 제작사의 자기 고백. GPT-4 테크니컬 리포트는 자체 n-gram 오염 검사를 돌려 겹침 문항을 제외한 재채점 결과를 병기했고, BIG-bench는 오염 때문에 아예 보고에서 제외했다.
3. 가장 직접적인 실험 — TS-Guessing. 문항에서 오답 보기 하나를 가리고 모델에게 그 빈칸을 채우게 한다. 실력으로는 맞힐 이유가 없는 과제다 — 오답은 출제자가 임의로 지은 것이니까. 그런데 GPT-4는 가려진 오답 보기를 57% 확률로 정확히 복원했다. 문제를 푸는 게 아니라 시험지를 기억하고 있다는 정황이다.

공정하게 덧붙일 것: 이 증거들은 "모든 모델이 MMLU를 통째로 외웠다"를 뜻하지 않는다. 오염 검출 연구들(Oren 외 등)은 모델·문항에 따라 오염 신호가 없는 경우도 많이 보고한다. 정확한 서술은 이것이다 — MMLU는 오염을 배제할 수 없게 설계된 시험이고, 오염의 크기는 모델마다 다르며, 외부에서 그걸 분리해낼 방법이 마땅치 않다. "몇 점이 실력이고 몇 점이 기억인지 알 수 없다"는 것 자체가 계측기로서의 결격 사유다.

그래서 1차 정리

여기까지가 시험지 자체의 결함이다 — 출처가 공개 웹이라 오염이 구조적이고, 문항의 6.49%가 오류이며, 그 오류율이 상단 순위 간격보다 크다. "진짜 실력은 MMLU로 판단합니다"라는 문장은 이 시점에서 이미 한 번 꺾인다.

그런데 아직 절반이다. 문항이 전부 정확하고 오염이 전혀 없다고 가정해도 남는 문제가 있다 — 4지선다라는 형식 그 자체. 다음 편의 첫 실험은 이것이다: 모델에게 질문을 보여주지 않고 보기 4개만 보여줬더니, 어떤 일이 벌어졌는가.

— 벤치마크는 실력을 재는가 ② / 다음 글: 질문을 안 보여줘도 맞히는 시험 — MMLU 해부 (하)

벤치마크는 실력을 재는가 ① — "진짜 실력은 벤치마크로 판단합니다", 좋다, 그 문장을 검증하자

업계에서 통용되는 문장이 하나 있다 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 이 문장을 쓴 사람이 누구든 중요하지 않다. 중요한 건 이 문장이 검증 가능한 주장이라는 것이다. 그래서 이 시리즈는 그 검증을 한다 — 두 시험지의 실물을 열어 보고, 점수가 실제 효용을 얼마나 예측하는지의 실증을 모으고, 마지막에 판결문을 쓴다.

먼저, 이 문장이 참이 되는 조건

반박부터 시작하면 공정하지 않다. 이 문장을 최대한 강하게 읽어 보자. 벤치마크로 실력을 판단하는 것이 옳은 경우가 실제로 세 가지 있다.

1. 체급 스크리닝. 후보 모델 30개 중에서 우리 용도에 근접한 5개를 고르는 단계에서는 벤치마크만 한 도구가 없다. 7B급과 프런티어급은 벤치마크로 확실히 구분된다.
2. 회귀 게이트. 우리 모델의 새 체크포인트가 이전보다 나빠지지 않았는지 확인하는 자동 검사로는 벤치마크가 유일한 현실적 수단이다.
3. 역사적 눈금. 2020년의 GPT-3와 2026년의 모델을 같은 자로 비교할 수 있는 것은 그 자를 계속 유지했기 때문이다.

이 세 용도라면 저 문장은 참이다. 문제는 저 문장이 보통 그렇게 쓰이지 않는다는 것이다. 실제로는 "A 모델이 B 모델보다 벤치마크 몇 점 높으니 더 좋은 모델이다" — 서열 판정과 품질 보증에 쓰인다. 그 용법이 성립하는지가 이 시리즈의 질문이다.

두 시험지의 한 줄 정체

주장에 인용된 두 시험지가 무엇인지부터. 자세한 해부는 다음 편들에서 하고, 여기서는 한 줄씩만.

• MMLU — 2020년 공개. 57개 과목, 테스트셋 14,042문항의 4지선다 지식 시험. 문항은 학생들이 공개 웹의 연습문제(GRE·USMLE 등)에서 수집했다.
• Belebele(벨레벨레) — 2023년 Meta 공개. 지문 488개에 900문항을 전부 영어로 작성한 뒤 122개 언어 변형으로 번역한 4지선다 독해 시험. 한국어판은 한국어 시험이 아니라 영어 시험의 한국어 번역본이다.

이 한 줄들만으로도 질문이 생기기 시작할 것이다. 공개 웹에서 긁어온 문제로, 웹을 통째로 학습한 모델을 시험하면 무엇이 측정되는가? 영어로 태어난 독해 문제의 번역본으로 한국어 실력을 판단할 수 있는가?

판정 기준 — 네 개의 심급

이 시리즈는 두 시험지와 그 사용법을 네 가지 기준으로 심사한다.

심급	질문	다루는 편
① 오염	시험지를 미리 본 응시자를 걸러낼 수 있는가	②
② 형식	4지선다라는 형식이 실력 외의 무엇을 재는가	③
③ 포화	눈금이 아직 남아 있는가	③·④·⑦
④ 상관	점수가 실제 효용을 예측하는가	⑤·⑥

그리고 마지막 ⑧편에서 판결과 함께, 우리 회사가(그리고 여러분 회사가) 실제로 쓸 수 있는 판단 절차 7단계를 내놓는다.

전작과의 관계

이 블로그의 독파모 평가 해부 시리즈에서 측정 과학의 일반론 — 오차막대와 문항 수(③편), 오염 감사 기법(⑪편), 리더보드 게이밍(⑥편) — 은 이미 다뤘다. 이번 시리즈는 그 도구를 전제로 하되 반복하지 않고, 시험지 자체의 해부와 점수-효용 상관의 실증이라는 새 영역을 판다. 겹치는 대목은 포인터로만 처리한다.

결론을 아주 짧게 예고하면 이렇다 — 벤치마크는 체급을 잰다. 그건 실제로 잘 잰다. 그러나 "진짜 실력"이라 부를 만한 것의 상당 부분은 벤치마크 점수의 잔차에 산다. 이 두 문장이 어떻게 동시에 참인지가 이 시리즈의 내용이다.

시작은 시험지의 출생부터다. MMLU의 14,042문항은 어디서 왔는가 — 논문에 적혀 있는 답이 이 시리즈에서 가장 놀라운 사실일지도 모른다.

— 벤치마크는 실력을 재는가 ① / 다음 글: 이 시험지, 대학원생이 인터넷에서 긁어왔습니다 — MMLU 해부 (상)