벤치마크는 실력을 재는가 ⑦ — 모든 시험지는 죽는다: 수명주기와 심리측정학 100년

2024년 10월, 한국어 생성 평가 리더보드 LogicKor가 이런 공지와 함께 문을 닫았다 — "상위권 모델에 대한 변별력이 거의 없어졌습니다"(독파모 ⑧편에서 인용했던 그 공지다). 한국만의 일이 아니다. 이건 모든 벤치마크의 운명이고, 이번 편은 그 부고들의 연대기다.

부고 연대기 — 수명은 줄어들고 있다

시험지	출시	사망 판정	수명
GLUE	2018	인간 기준선(87.1) 추월	약 1년
SuperGLUE	2019	DeBERTa 90.3 > 인간 89.8	약 1.7년
MMLU	2020	인간 전문가선 돌파(2023-12), 상단 밀집	약 3.5년*
BIG-Bench-Hard	2022	후속 논문이 "사실상 만점" 판정	약 2년
GPQA Diamond	2023	상위 24개 모델이 90%+ (2026)	약 2년
SWE-bench Verified	2024	최고 97.0%, 7개 모델 95%+ (2026-08)	약 2년

(*MMLU의 3.5년은 예외처럼 보이지만, 출시 시점 최강 모델이 43.9%였던 — 시대를 앞서 나온 — 시험이라서다. 제3자 집계는 vals.ai·llm-stats 2026-09 조회 기준.)

패턴이 보인다. 최근 세대는 난이도와 무관하게 1~2년 안에 죽는다. "박사급도 어렵다"던 GPQA도, "실제 저장소 이슈"라던 SWE-bench Verified도 2년이었다. 이유는 단순하다 — 뒤에서 볼 METR 측정으로 모델 능력이 약 7개월마다 배증하는데, 시험지는 고정돼 있다.

사인은 세 가지, 그리고 겉으로는 구분이 안 된다

1. 능력 성장 — 정직한 죽음. 모델이 정말 강해져서 시험이 쉬워진 경우.
2. 오염 — 공개된 순간부터 부패가 시작된다. 학습 컷오프 전후 벤치마크 점수를 비교한 자연실험이 이 효과를 실증했고, GSM1k의 −8%p가 그 크기의 실측이다.
3. 굿하트 최적화 — 시험이 목표가 되는 순간(⑥편). 27개 비공개 변종, +112% 같은 숫자들.

문제는 리더보드 점수만 봐서는 셋을 구분할 수 없다는 것이다. 점수 상승이 실력인지 유출인지 적응인지 — 신작 홀드아웃 문항과 대조하기 전까지는 알 수 없다.

"인간 수준 돌파"의 속사정

부고 기사의 단골 표현 "인간 수준 돌파"에는 확인할 것이 하나 있다 — 그 인간이 누구였는가. GLUE의 인간 기준선 87.1은 예시 20개를 보고 투입된 크라우드워커였다. GPQA의 인간 기준선 74%는 해당 분야 박사였다. 같은 "human-level"이라는 말이 완전히 다른 두 사건을 가리킨다. 그리고 그 박사조차 추월된 지금(GPQA 90%+), 그 시험은 여전히 어떤 국가 평가의 구성 지수 안에 들어 있다 — 독파모가 25점을 위탁한 AAII의 6%가 GPQA Diamond다.

살아남는 것들의 설계

죽음에 대응하는 설계는 네 계열이고, 각자 대가를 치른다: 더 어렵게(HLE·FrontierMath — 그래도 죽는다, 연장일 뿐), 매달 새로(LiveBench — 시계열 비교를 잃는다), 비공개로(SEAL류 — 운영자 신뢰를 요구한다), 실제 과업으로(SWE-bench·GDPval — 고정하는 순간 또 죽는다). 그중 눈에 띄는 둘:

• ARC-AGI — 품위 있게 늙는 법. 5년을 버틴 예외적 시험인데, 비결은 불사가 아니라 계획된 세대교체다(v1 → v2 → v3). 그리고 점수 옆에 가격표를 붙인다 — o3가 v1에서 75.7%를 얻는 데 과제당 수십 달러, 고연산 설정의 87.5%에는 자릿수가 다른 비용이 들었고, v2에서는 사람이 과제당 $17로 푸는 문제를 모델은 $200을 쓰고도 못 푸는 구간이 존재한다. 점수만 보면 안 보이는 격차가 비용축에서 드러난다.
• METR 시간지평 — 점수가 아니라 단위가 있는 지표. "모델이 50% 확률로 완수하는 과제의 (인간 기준) 소요 시간"을 재고, 이 지평이 약 7개월마다 2배가 된다는 추세를 발표한다. GPT-5 기준 50% 지평 2시간 17분(신뢰구간 65분~4시간 25분). 그런데 같은 모델의 80% 성공 지평은 약 25분(신뢰구간 8~65분) — 5.5배 간극이다. 데모가 되는 것과 믿고 맡기는 것 사이의 거리를, 이 지표는 정의상 담고 있다. 시험지를 갈아 끼워도 추세선이 이어진다는 게 결정적 장점이다.

측정학은 이미 답의 골격을 갖고 있다

이 모든 것이 새 문제 같지만, 시험의 죽음을 제도화한 학문이 이미 100년째 있다 — 교육측정학이다. 문항은행과 노출 관리(같은 문항을 계속 쓰지 않는다), 동등화(다른 시험지의 점수를 같은 눈금으로 잇는다), 재규준(기준 집단을 주기적으로 갱신한다). 수능과 토플이 매년 새 문제로도 연도 간 비교가 가능한 이유가 전부 여기 있다. 그리고 Campbell은 1979년에 이미 썼다 — 정량 지표가 의사결정의 목표가 될수록, 그 지표는 부패하고 지표가 재려던 과정도 왜곡된다. 굿하트는 AI 문제가 아니라 측정의 보편 법칙이다.

한국 함의는 아프다. 원판이 포화된 해에 한국판을 들여오는 패턴(MMLU 2020 → KMMLU 2024, 그리고 1년 만의 Redux/Pro 개정), 1년 만에 변별력을 잃은 LogicKor. 반가운 예외도 생겼다 — 최근의 한국 벤치마크 KAIO는 "80% 도달 시 공개하고 교체한다"는 수명주기를 설계에 내장했다. 시험지의 죽음을 전제하는 첫 한국 시험지다.

이제 재료가 다 모였다. 마지막 편 — ①편의 문장으로 돌아가 판결문을 쓰고, 우리 회사의 판단 절차 7단계를 확정한다.

— 벤치마크는 실력을 재는가 ⑦ / 다음 글: 그래서 우리 회사는 무엇으로 판단하는가 (완결)