독파모 평가 해부 ⑥ — 부정행위 없이 리더보드를 이기는 법

평가를 이야기할 때 흔히 "부정행위만 막으면 된다"고 생각한다. 이번 편의 요지는 반대다. 규칙을 하나도 어기지 않고 점수를 올리는 방법들이 이미 정량화돼 있고, 탈락제는 바로 그 방법들을 쓰라고 등을 떠민다.

사례 1: 여러 번 응시하고 최고점만 낸다

2025년의 "The Leaderboard Illusion" 연구가 LMArena에서 실증한 것이다. Meta는 Llama 4 출시 전 27개의 비공개 변종을 아레나에서 테스트하고 가장 좋은 것만 공개했다. 시뮬레이션으로는 같은 실력의 변종 20개만 돌려도 최고 점수가 약 50 Elo 상승한다. 동전을 스무 번 던져 제일 잘 나온 기록을 내는 것과 같은 원리다 — 어느 규칙에도 어긋나지 않는다.

데이터 접근도 비대칭이었다. 아레나 전체 대화 데이터에서 구글이 19.2%, OpenAI가 20.4%를 가져가는 동안 오픈웨이트 모델 83개가 합쳐서 29.7%를 나눠 가졌다. 그리고 아레나 데이터로 학습하면 아레나 승률이 23.5%에서 49.9%로 +112% 뛰는데, MMLU 점수는 오르지 않는다. 실력이 아니라 시험 적응이 늘어난 것이다.

사례 2: 평가 기관이 "우리 평가는 뚫린다"고 자백한다

미국의 국가 평가 기관 CAISI는 자기 평가에서 발생한 게이밍 비율을 스스로 측정해 공개한다 — Cybench 0.3%, SWE-bench 0.1% + 채점기 게이밍 0.2%, 내부 CVE-Bench는 4.8%. 수치보다 중요한 건 태도다. 정부 평가 기관이 자기 계측기의 뚫린 구멍을 수치로 공개하는 것 — 이게 평가를 과학으로 다루는 기관의 모습이다.

구조: 탈락제는 오염을 보상한다

2025년의 벤치마크 관행 연구는 이렇게 정리한다 — "리더보드는 평가를 경쟁으로 바꿔 놓았고, 그 결과 개발자가 벤치마크에 직접 최적화하도록 유인한다." 그리고 오염(테스트셋이 학습에 섞이는 것) 탐지 기법은 회피 가능하다는 것도 함께 보였다.

이걸 독파모 구조에 대입해 보자. 평가에서 지면 GPU 배정이 끊기고 사업에서 퇴출된다. 벤치마크 구성은 알려져 있다(AAII 구성 벤치마크는 공개돼 있고, NIA 벤치마크는 1차에서 한 번 치렀으니 2차 팀들은 그 성격을 안다). 이 조건에서 "평가에 나올 것과 비슷한 데이터를 학습 후반에 더 넣는" 선택은 부정행위가 아니다 — 합리적 경영 판단이다. 그게 문제다. 생존이 걸린 반복 평가에서, 오염을 막는 책임을 참가자의 양심에 맡기는 설계는 작동할 수 없다.

여기서 공개돼야 할 질문이 하나 나온다. NIA 벤치마크의 문항은 1차와 2차에서 같은 세트였는가, 갱신됐는가. 같은 세트라면 2차 점수는 "능력"과 "1차 문항에 대한 적응"을 구분할 수 없다. ②편에서 본 NIA 항목의 극단적 포화(네 팀 99.8~100.0)는 두 해석 모두와 부합한다 — 그래서 더더욱 공개가 필요하다.

국내 정황 — 의혹과 부인을 같은 문장에

2026년 8월, 일부 참여 기업이 벤치마크 점수 최적화 작업을 외주했다는 이른바 "벤치맥싱" 의혹이 보도됐다. 4개사 전원이 부인했고, 확인된 계약은 없다. 이 시리즈는 이 의혹을 사실로 취급하지 않는다. 여기서 인용하는 이유는 하나다 — 당시 과기정통부의 해명이 "전문가·이용자 평가로 보완된다"였는데, ②편에서 계산했듯 그 보완 장치라는 전문가 평가의 실효 가중치는 16.9%였고 통계적으로 4팀을 변별하지 못한 유일한 항목이었다(④편). 의혹의 진위와 무관하게, 방어 논리가 성립하지 않는다는 것은 산수로 말할 수 있다.

막는 방법은 알려져 있다

이 문제에는 검증된 해법이 있다. 뒤의 ⑪편에서 자세히 다루지만 예고만 하면:

• 비공개 홀드아웃 — 참가자가 한 번도 본 적 없는 문항으로만 최종 판정. 민간에서는 이미 표준이다(SEAL 리더보드는 "그 조직이 처음 접하는 프롬프트"를 규칙으로 명시한다).
• 매 회차 신규 문항 — LiveBench는 매달 문항을 갈아 끼우는 것으로 오염 저항을 설계에 내장했다.
• 오염 감사 — 새로 만든 동형 문항과의 점수 격차를 재면 오염의 크기가 나온다(GSM1k 방식, 실측 최대 8%p).
• 캐너리 문자열 — 평가셋에 고유 식별자를 심어 학습 데이터 혼입을 사후 탐지.

전부 독파모가 쓸 수 있었고 다음 회차에 쓸 수 있는 것들이다. 탈락제를 유지하려면 오염 방지는 선택이 아니라 전제 조건이다.

그런데 잠깐 — 지금까지 벤치마크 블록을 "40점"으로 뭉뚱그렸다. 그중 25점은 특정 외부 회사의 지수 하나에 걸려 있었다. 다음 편은 그 계측기를 분해한다. 국가 예산 결정의 4분의 1을 건 자, Artificial Analysis Intelligence Index.

— 독파모 평가 해부 ⑥ / 다음 글: 25점을 건 계측기를 뜯어봤다 — AAII