벤치마크는 실력을 재는가 ② — 이 시험지, 대학원생이 인터넷에서 긁어왔습니다: MMLU 해부 (상)

세계에서 가장 많이 인용되는 AI 시험지의 출생부터 확인하자. MMLU 논문(Hendrycks 외, 2020)에는 문항의 출처가 이렇게 적혀 있다 — 문항들은 대학원생과 학부생들이 "온라인에서 무료로 구할 수 있는 출처에서 수작업으로 수집"했으며, 출처에는 "GRE나 USMLE 같은 시험의 연습문제"가 포함된다. 총 15,908문항, 그중 테스트셋 14,042문항(논문 본문 표기는 14,079 — 공개 배포본 기준 14,042), 57개 과목.

즉 MMLU는 자체 출제된 시험이 아니다. 인터넷에 이미 있던 문제들의 모음집이다. 2020년에는 이게 문제가 아니었다 — 당시 최강 모델 GPT-3가 43.9%밖에 못 맞혔고, 제작 목적 자체가 "모델의 약점 지도 그리기"였다. 문제는 그다음에 벌어진 일이다. 이후의 모든 대형 모델이 바로 그 인터넷을 통째로 학습했다.

시험지 안에 무엇이 들어 있나 — 6.49%는 오류다

2024년, 연구자들이 MMLU 문항을 재검수했다(MMLU-Redux, 57개 과목 전수에서 5,700문항 재주석). 결과:

• 전체 문항의 6.49%가 오류 — 정답 표기가 틀렸거나, 문제가 성립하지 않거나, 보기가 잘못됐다.
• 과목별 편차가 크다. 최악은 바이러스학(Virology)으로 오류율 57%다. 절반 넘게 틀린 시험지로 바이러스학 실력을 채점해 온 것이다.
• 오류 문항을 제거하고 다시 채점하면 리더보드 16위 모델이 1위가 되는 사례가 보고됐다.

이 오류율이 왜 치명적인지는 현재 리더보드와 겹쳐 보면 안다. 프런티어 상위 15개 모델의 MMLU 점수 폭이 약 3%p다(③편). 순위를 가르는 간격이 시험지 오류율의 절반이다. 상단 순위는 실력 차이가 아니라 어느 오류 문항에 어떻게 걸렸는지의 함수일 수 있다.

오염 — 사고가 아니라 구조

보통 벤치마크 오염은 "테스트셋이 실수로 학습 데이터에 섞이는" 사고로 이야기된다. MMLU는 다르다. 문항이 공개 웹에서 수집됐으므로, 웹을 크롤링해 학습하는 모든 모델에게 이 시험은 태생적으로 오픈북이다. 사고가 아니라 구조다.

증거는 세 겹이다.

1. 출처 자체. 위에서 본 대로 — 문항의 원산지가 학습 코퍼스의 원산지와 같다.
2. 제작사의 자기 고백. GPT-4 테크니컬 리포트는 자체 n-gram 오염 검사를 돌려 겹침 문항을 제외한 재채점 결과를 병기했고, BIG-bench는 오염 때문에 아예 보고에서 제외했다.
3. 가장 직접적인 실험 — TS-Guessing. 문항에서 오답 보기 하나를 가리고 모델에게 그 빈칸을 채우게 한다. 실력으로는 맞힐 이유가 없는 과제다 — 오답은 출제자가 임의로 지은 것이니까. 그런데 GPT-4는 가려진 오답 보기를 57% 확률로 정확히 복원했다. 문제를 푸는 게 아니라 시험지를 기억하고 있다는 정황이다.

공정하게 덧붙일 것: 이 증거들은 "모든 모델이 MMLU를 통째로 외웠다"를 뜻하지 않는다. 오염 검출 연구들(Oren 외 등)은 모델·문항에 따라 오염 신호가 없는 경우도 많이 보고한다. 정확한 서술은 이것이다 — MMLU는 오염을 배제할 수 없게 설계된 시험이고, 오염의 크기는 모델마다 다르며, 외부에서 그걸 분리해낼 방법이 마땅치 않다. "몇 점이 실력이고 몇 점이 기억인지 알 수 없다"는 것 자체가 계측기로서의 결격 사유다.

그래서 1차 정리

여기까지가 시험지 자체의 결함이다 — 출처가 공개 웹이라 오염이 구조적이고, 문항의 6.49%가 오류이며, 그 오류율이 상단 순위 간격보다 크다. "진짜 실력은 MMLU로 판단합니다"라는 문장은 이 시점에서 이미 한 번 꺾인다.

그런데 아직 절반이다. 문항이 전부 정확하고 오염이 전혀 없다고 가정해도 남는 문제가 있다 — 4지선다라는 형식 그 자체. 다음 편의 첫 실험은 이것이다: 모델에게 질문을 보여주지 않고 보기 4개만 보여줬더니, 어떤 일이 벌어졌는가.

— 벤치마크는 실력을 재는가 ② / 다음 글: 질문을 안 보여줘도 맞히는 시험 — MMLU 해부 (하)