벤치마크는 실력을 재는가 ① — "진짜 실력은 벤치마크로 판단합니다", 좋다, 그 문장을 검증하자

업계에서 통용되는 문장이 하나 있다 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 이 문장을 쓴 사람이 누구든 중요하지 않다. 중요한 건 이 문장이 검증 가능한 주장이라는 것이다. 그래서 이 시리즈는 그 검증을 한다 — 두 시험지의 실물을 열어 보고, 점수가 실제 효용을 얼마나 예측하는지의 실증을 모으고, 마지막에 판결문을 쓴다.

먼저, 이 문장이 참이 되는 조건

반박부터 시작하면 공정하지 않다. 이 문장을 최대한 강하게 읽어 보자. 벤치마크로 실력을 판단하는 것이 옳은 경우가 실제로 세 가지 있다.

1. 체급 스크리닝. 후보 모델 30개 중에서 우리 용도에 근접한 5개를 고르는 단계에서는 벤치마크만 한 도구가 없다. 7B급과 프런티어급은 벤치마크로 확실히 구분된다.
2. 회귀 게이트. 우리 모델의 새 체크포인트가 이전보다 나빠지지 않았는지 확인하는 자동 검사로는 벤치마크가 유일한 현실적 수단이다.
3. 역사적 눈금. 2020년의 GPT-3와 2026년의 모델을 같은 자로 비교할 수 있는 것은 그 자를 계속 유지했기 때문이다.

이 세 용도라면 저 문장은 참이다. 문제는 저 문장이 보통 그렇게 쓰이지 않는다는 것이다. 실제로는 "A 모델이 B 모델보다 벤치마크 몇 점 높으니 더 좋은 모델이다" — 서열 판정과 품질 보증에 쓰인다. 그 용법이 성립하는지가 이 시리즈의 질문이다.

두 시험지의 한 줄 정체

주장에 인용된 두 시험지가 무엇인지부터. 자세한 해부는 다음 편들에서 하고, 여기서는 한 줄씩만.

• MMLU — 2020년 공개. 57개 과목, 테스트셋 14,042문항의 4지선다 지식 시험. 문항은 학생들이 공개 웹의 연습문제(GRE·USMLE 등)에서 수집했다.
• Belebele(벨레벨레) — 2023년 Meta 공개. 지문 488개에 900문항을 전부 영어로 작성한 뒤 122개 언어 변형으로 번역한 4지선다 독해 시험. 한국어판은 한국어 시험이 아니라 영어 시험의 한국어 번역본이다.

이 한 줄들만으로도 질문이 생기기 시작할 것이다. 공개 웹에서 긁어온 문제로, 웹을 통째로 학습한 모델을 시험하면 무엇이 측정되는가? 영어로 태어난 독해 문제의 번역본으로 한국어 실력을 판단할 수 있는가?

판정 기준 — 네 개의 심급

이 시리즈는 두 시험지와 그 사용법을 네 가지 기준으로 심사한다.

심급	질문	다루는 편
① 오염	시험지를 미리 본 응시자를 걸러낼 수 있는가	②
② 형식	4지선다라는 형식이 실력 외의 무엇을 재는가	③
③ 포화	눈금이 아직 남아 있는가	③·④·⑦
④ 상관	점수가 실제 효용을 예측하는가	⑤·⑥

그리고 마지막 ⑧편에서 판결과 함께, 우리 회사가(그리고 여러분 회사가) 실제로 쓸 수 있는 판단 절차 7단계를 내놓는다.

전작과의 관계

이 블로그의 독파모 평가 해부 시리즈에서 측정 과학의 일반론 — 오차막대와 문항 수(③편), 오염 감사 기법(⑪편), 리더보드 게이밍(⑥편) — 은 이미 다뤘다. 이번 시리즈는 그 도구를 전제로 하되 반복하지 않고, 시험지 자체의 해부와 점수-효용 상관의 실증이라는 새 영역을 판다. 겹치는 대목은 포인터로만 처리한다.

결론을 아주 짧게 예고하면 이렇다 — 벤치마크는 체급을 잰다. 그건 실제로 잘 잰다. 그러나 "진짜 실력"이라 부를 만한 것의 상당 부분은 벤치마크 점수의 잔차에 산다. 이 두 문장이 어떻게 동시에 참인지가 이 시리즈의 내용이다.

시작은 시험지의 출생부터다. MMLU의 14,042문항은 어디서 왔는가 — 논문에 적혀 있는 답이 이 시리즈에서 가장 놀라운 사실일지도 모른다.

— 벤치마크는 실력을 재는가 ① / 다음 글: 이 시험지, 대학원생이 인터넷에서 긁어왔습니다 — MMLU 해부 (상)