레이블이 모델 평가인 게시물을 표시합니다. 모든 게시물 표시
레이블이 모델 평가인 게시물을 표시합니다. 모든 게시물 표시

2026년 9월 1일 화요일

벤치마크는 실력을 재는가 ⑧ (완결) — 그래서 우리 회사는 무엇으로 판단하는가: CTO의 판단 절차

①편의 문장으로 돌아가자 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 일곱 편에 걸친 심사 결과를 집계한다.

판결문

읽는 법판정근거
"체급 스크리닝은 벤치마크로 한다"참점수들의 단일 축이 분산 80~97%를 설명, 컴퓨트와 R²>0.9 (⑤)
"회귀 게이트·역사적 눈금으로 쓴다"참1% 컴퓨트로 2%p 예측, 2020년부터의 연속 눈금 (③⑤)
"같은 체급 안의 서열을 가린다"거짓상단 밀집 3.1%p < 오류율 6.49%, 겉상관 91.3% vs 실질 26.1% (②③⑤)
"제품 품질을 보증한다"거짓GDPval 역전, 71.2% vs 1.96%, pass^1 vs pass^8, GPT-4o 사고 (⑥)
"한국어 실력을 판단한다 (MMLU·Belebele로)"거짓MMLU 문화 문항의 86.5%가 서구 지식, Belebele은 영어 시험의 번역본 (③④)
"오래 유효하다"거짓최근 벤치마크 수명 1~2년, 능력은 7개월마다 배증 (⑦)

한 줄 판결: 조건부 참. "체급·회귀·눈금"으로 읽으면 참이고, "서열·품질·한국어"로 읽으면 거짓이다. 그리고 저 문장은 대개 후자의 뜻으로 쓰인다.

한국 진단 한 단락

한국의 관행적 위험은 두 가지다. 수명이 끝난 포맷의 이식(원판 포화 원년에 한국판 출시, 번역 벤치마크 의존)과 수명 설계의 부재(LogicKor의 1년). 다행히 다음 세대는 이미 있다 — 원전 제작(KoBALT·HAE-RAE), 수명주기 내장(KAIO의 80%-교체 정책), 실무 과업 기반(Ko-GDPval). KMMLU를 쓸 거라면 오류를 정정한 Redux/Pro를 쓰는 것이 낫다(원판의 결함과 라이선스 문제는 독파모 ⑧편 참조).

우리 회사의 판단 절차 — 7단계

이 시리즈의 실무 결론이다. 필자 회사(LLM을 만들고 쓰는 입장이므로 이해관계가 있음을 밝힌다)의 평가 파이프라인에 그대로 반영하는 절차다.

  1. 공개 벤치마크는 체급 스크리닝까지만. 후보군을 추릴 때 쓰되, 신뢰구간이 겹치는 모델은 동급으로 처리한다. 1~3%p 차이로 순위를 매기지 않는다(1,000문항의 탐지 한계가 3%p다).
  2. 오염을 확인하고 본다. 후보 모델의 학습 컷오프와 벤치마크 공개일의 선후를 확인하고, 중요한 결정이면 TS-Guessing류 검사를 직접 돌린다(기법은 독파모 ⑪편).
  3. 최종 판단은 자사 태스크 홀드아웃으로. GDPval의 원형을 빌린다 — 우리 서비스의 실제 과업으로 비공개 평가셋을 만들고, 주기적으로 교체한다. 구축 비용은 300문항 기준 수백만 원(독파모 ⑫편의 가격표).
  4. 단발이 아니라 반복으로 잰다. pass^k(k회 연속 성공)를 기본 지표로. 데모 성공률 61.2%가 프로덕션에선 25% 미만이 되는 간극이 우리 서비스에도 있다.
  5. 사람 평가는 스타일을 통제하고. 길이·서식을 맞춘 블라인드 비교로, 그리고 전문가의 "느낌이 이상하다"를 기각하지 않는 절차로. GPT-4o 사고의 교훈이다.
  6. 점수 옆에 단위 있는 지표를. 시간지평(어느 길이의 과제까지 믿고 맡길 수 있나), 과제당 비용, p95 지연. 점수는 갈아 끼워도 이 축들은 추세선이 이어진다.
  7. 쓰는 벤치마크의 라이선스와 수명을 확인한다. ND/NC 라이선스는 상업적 보고를 제약하고, 어떤 시험이든 1~2년 뒤에는 죽는다 — "우리 회사의 KPI 벤치마크는 언제 죽는가"를 분기마다 묻는다.

마치며 — 시리즈의 투명성 마감

이 시리즈에서 확인하지 못해 쓰지 않은 것들을 남긴다: MMLU와 아레나 Elo의 공식 상관계수(발표된 것이 없다), Belebele의 독파모 벤치마크 포함 여부(데이터셋 단위 목록 미공개), 프런티어 랩들의 내부 Belebele 사용 여부(공개 보고의 부재가 사용의 부재를 증명하지 않는다). 그리고 이번 시리즈를 쓰며 발견한 필자의 이전 오류 하나(보기 순서 스윙 27.1 → 27.0)는 해당 글을 수정하고 ③편에 고지했다.

마지막 문장은 이렇게 쓰고 싶다. "진짜 실력은 벤치마크로 판단합니다"라는 문장의 가장 큰 문제는 틀렸다는 게 아니라, 판단을 끝내준다는 착각을 준다는 것이다. 벤치마크는 판단의 시작이다 — 체급을 확인했으면, 이제 우리 일을 시켜 보고, 반복시켜 보고, 사람에게 블라인드로 보여주고, 가격표를 붙여야 한다. 그 나머지 절차 전부가 "판단"이라는 단어의 실제 내용이다.

— 벤치마크는 실력을 재는가 ⑧ (완결) / 관련 시리즈: 독파모 평가 해부(평가 설계·통계), 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용)

벤치마크는 실력을 재는가 ⑦ — 모든 시험지는 죽는다: 수명주기와 심리측정학 100년

2024년 10월, 한국어 생성 평가 리더보드 LogicKor가 이런 공지와 함께 문을 닫았다 — "상위권 모델에 대한 변별력이 거의 없어졌습니다"(독파모 ⑧편에서 인용했던 그 공지다). 한국만의 일이 아니다. 이건 모든 벤치마크의 운명이고, 이번 편은 그 부고들의 연대기다.

부고 연대기 — 수명은 줄어들고 있다

시험지출시사망 판정수명
GLUE2018인간 기준선(87.1) 추월약 1년
SuperGLUE2019DeBERTa 90.3 > 인간 89.8약 1.7년
MMLU2020인간 전문가선 돌파(2023-12), 상단 밀집약 3.5년*
BIG-Bench-Hard2022후속 논문이 "사실상 만점" 판정약 2년
GPQA Diamond2023상위 24개 모델이 90%+ (2026)약 2년
SWE-bench Verified2024최고 97.0%, 7개 모델 95%+ (2026-08)약 2년

(*MMLU의 3.5년은 예외처럼 보이지만, 출시 시점 최강 모델이 43.9%였던 — 시대를 앞서 나온 — 시험이라서다. 제3자 집계는 vals.ai·llm-stats 2026-09 조회 기준.)

패턴이 보인다. 최근 세대는 난이도와 무관하게 1~2년 안에 죽는다. "박사급도 어렵다"던 GPQA도, "실제 저장소 이슈"라던 SWE-bench Verified도 2년이었다. 이유는 단순하다 — 뒤에서 볼 METR 측정으로 모델 능력이 약 7개월마다 배증하는데, 시험지는 고정돼 있다.

사인은 세 가지, 그리고 겉으로는 구분이 안 된다

  1. 능력 성장 — 정직한 죽음. 모델이 정말 강해져서 시험이 쉬워진 경우.
  2. 오염 — 공개된 순간부터 부패가 시작된다. 학습 컷오프 전후 벤치마크 점수를 비교한 자연실험이 이 효과를 실증했고, GSM1k의 −8%p가 그 크기의 실측이다.
  3. 굿하트 최적화 — 시험이 목표가 되는 순간(⑥편). 27개 비공개 변종, +112% 같은 숫자들.

문제는 리더보드 점수만 봐서는 셋을 구분할 수 없다는 것이다. 점수 상승이 실력인지 유출인지 적응인지 — 신작 홀드아웃 문항과 대조하기 전까지는 알 수 없다.

"인간 수준 돌파"의 속사정

부고 기사의 단골 표현 "인간 수준 돌파"에는 확인할 것이 하나 있다 — 그 인간이 누구였는가. GLUE의 인간 기준선 87.1은 예시 20개를 보고 투입된 크라우드워커였다. GPQA의 인간 기준선 74%는 해당 분야 박사였다. 같은 "human-level"이라는 말이 완전히 다른 두 사건을 가리킨다. 그리고 그 박사조차 추월된 지금(GPQA 90%+), 그 시험은 여전히 어떤 국가 평가의 구성 지수 안에 들어 있다 — 독파모가 25점을 위탁한 AAII의 6%가 GPQA Diamond다.

살아남는 것들의 설계

죽음에 대응하는 설계는 네 계열이고, 각자 대가를 치른다: 더 어렵게(HLE·FrontierMath — 그래도 죽는다, 연장일 뿐), 매달 새로(LiveBench — 시계열 비교를 잃는다), 비공개로(SEAL류 — 운영자 신뢰를 요구한다), 실제 과업으로(SWE-bench·GDPval — 고정하는 순간 또 죽는다). 그중 눈에 띄는 둘:

  • ARC-AGI — 품위 있게 늙는 법. 5년을 버틴 예외적 시험인데, 비결은 불사가 아니라 계획된 세대교체다(v1 → v2 → v3). 그리고 점수 옆에 가격표를 붙인다 — o3가 v1에서 75.7%를 얻는 데 과제당 수십 달러, 고연산 설정의 87.5%에는 자릿수가 다른 비용이 들었고, v2에서는 사람이 과제당 $17로 푸는 문제를 모델은 $200을 쓰고도 못 푸는 구간이 존재한다. 점수만 보면 안 보이는 격차가 비용축에서 드러난다.
  • METR 시간지평 — 점수가 아니라 단위가 있는 지표. "모델이 50% 확률로 완수하는 과제의 (인간 기준) 소요 시간"을 재고, 이 지평이 약 7개월마다 2배가 된다는 추세를 발표한다. GPT-5 기준 50% 지평 2시간 17분(신뢰구간 65분~4시간 25분). 그런데 같은 모델의 80% 성공 지평은 약 25분(신뢰구간 8~65분) — 5.5배 간극이다. 데모가 되는 것과 믿고 맡기는 것 사이의 거리를, 이 지표는 정의상 담고 있다. 시험지를 갈아 끼워도 추세선이 이어진다는 게 결정적 장점이다.

측정학은 이미 답의 골격을 갖고 있다

이 모든 것이 새 문제 같지만, 시험의 죽음을 제도화한 학문이 이미 100년째 있다 — 교육측정학이다. 문항은행과 노출 관리(같은 문항을 계속 쓰지 않는다), 동등화(다른 시험지의 점수를 같은 눈금으로 잇는다), 재규준(기준 집단을 주기적으로 갱신한다). 수능과 토플이 매년 새 문제로도 연도 간 비교가 가능한 이유가 전부 여기 있다. 그리고 Campbell은 1979년에 이미 썼다 — 정량 지표가 의사결정의 목표가 될수록, 그 지표는 부패하고 지표가 재려던 과정도 왜곡된다. 굿하트는 AI 문제가 아니라 측정의 보편 법칙이다.

한국 함의는 아프다. 원판이 포화된 해에 한국판을 들여오는 패턴(MMLU 2020 → KMMLU 2024, 그리고 1년 만의 Redux/Pro 개정), 1년 만에 변별력을 잃은 LogicKor. 반가운 예외도 생겼다 — 최근의 한국 벤치마크 KAIO는 "80% 도달 시 공개하고 교체한다"는 수명주기를 설계에 내장했다. 시험지의 죽음을 전제하는 첫 한국 시험지다.

이제 재료가 다 모였다. 마지막 편 — ①편의 문장으로 돌아가 판결문을 쓰고, 우리 회사의 판단 절차 7단계를 확정한다.

— 벤치마크는 실력을 재는가 ⑦ / 다음 글: 그래서 우리 회사는 무엇으로 판단하는가 (완결)

벤치마크는 실력을 재는가 ⑥ — 그런데 왜 배신당하는가: 잔차의 세계와 굿하트

⑤편의 결론은 "벤치마크는 체급을 잘 잰다"였다. 이번 편은 그 반대면 — 점수가 효용을 배신하는 지점들의 실증이다. 패턴은 세 가지다: 실무는 잔차에 살고, 형식이 갈라놓고, 최적화가 상관을 죽인다.

배신 ① 실무 산출물에서 순위가 뒤집힌다

먼저 용어 정리 하나. 이름이 비슷한 세 가지가 있다 — GDPval(OpenAI의 실제 직무 과제 평가), GDPval-AA v2(Artificial Analysis가 운영하는 별도 Elo 버전, AAII의 20% 구성요소), Ko-GDPval(업스테이지의 자체 한국어판, 비공개). 여기서 말하는 건 첫 번째다.

GDPval은 44개 직군의 실제 직무 산출물(보고서, 스프레드시트, 슬라이드 등)을 전문가가 블라인드 비교하는 평가다. 결과 — 학술 벤치마크 다수에서 앞서던 GPT-5가 승률+무승부 39.0%, Claude Opus 4.1이 47.6%로 순위가 뒤집혔다. 전문가들이 본 것은 지식의 양이 아니라 산출물의 완성도 — 서식, 지시 준수, 실제로 제출 가능한 물건인지 — 였다. (아직 n=1 평가라는 한계는 명시해 둔다.)

코딩에서는 격차가 더 극적이다. 같은 Claude 2가 HumanEval 71.2%, SWE-bench 1.96%였다. 함수 하나 짜기와 실제 저장소에서 이슈 해결하기는 36배 차이 나는 다른 과제다. 에이전트 과제(τ-bench)에서는 또 다른 축이 갈라진다 — GPT-4o가 1회 시도 성공률 61.2%, 8회 연속 성공률(pass^8)은 25% 미만. 데모 성공률과 프로덕션 신뢰성은 다른 지표다(서강대 수능 평가의 24.6%p 격차와 같은 구조 — 독파모 ⑧편).

배신 ② 사람 선호도 벤치마크를 배신한다

사람 선호(아레나) 쪽 편향은 독파모 ⑤편에서 다뤘다 — 길이 계수 0.249가 서식 효과의 8~13배라는 것. 이번에 추가할 것은 그 효과의 크기다: 스타일을 통제하자 GPT-4o-mini가 6위→11위로, 다른 모델이 6위→18위로 이동했다. 지식 벤치마크와 선호 벤치마크는 서로 다른 실력을 재고, 그 간극에 문체가 산다.

배신 ③ 최적화가 시작되면 상관은 죽는다

⑤편의 상관 구조는 아무도 그 벤치마크를 목표로 삼지 않았을 때의 이야기다. 목표가 되는 순간:

  • 아레나 데이터로 파인튜닝하면 ArenaHard 승률이 23.5% → 42.7% → 49.9%로 상대 +112% 뛴다. 같은 기간 MMLU는 66.5 → 64.4 → 65.9 — 제자리다(변동폭이 노이즈 안). 아레나 실력이 늘어난 게 아니라 아레나 적응이 늘어난 것이고, 상관은 그 지점에서 끊어진다.
  • Llama 4의 아레나 제출 변형 논란(공개판과 다른, 대화 최적화 변형으로 순위 획득)은 이 메커니즘의 실전 사례다.
  • GSM1k(기존 수학 벤치와 같은 난이도의 신작 문항)에서 일부 모델은 최대 8%p 떨어졌고, 하락 폭은 암기 지표와 상관(r²=0.36)했다.

가장 비싼 사고 — "오프라인 평가는 좋아 보였다"

2025년 4월, OpenAI는 GPT-4o 업데이트를 롤백하며 사후 분석을 공개했다. 요지는 이렇다 — 오프라인 평가들은 대체로 좋아 보였고, A/B 테스트는 사용자들이 좋아한다고 나타났다. 일부 전문가 테스터가 "뭔가 이상하다(felt off)"고 했지만 정량 신호가 우선됐다. 배포 결과는 과도한 아첨으로 인한 대규모 반발과 롤백이었다.

이 사건이 이 시리즈에서 중요한 이유: 벤치마크와 A/B라는 두 정량 관문을 모두 통과한 배포가 실패했고, 그걸 미리 잡은 유일한 신호는 전문가의 직관이었다. "정량 평가가 좋으면 배포한다"는 규칙의 반례가, 가장 평가를 잘한다는 조직에서 나왔다. 교훈은 정량 평가를 버리라는 게 아니라 — 전문가의 "느낌이 이상하다"를 데이터로 취급하라는 것이다.

이 편의 판결

⑤편과 이번 편을 합치면 시리즈의 중심 문장이 완성된다.

"벤치마크는 체급을 재고, 제품 품질은 잔차에 산다.
그리고 벤치마크가 목표가 되는 순간, 체급과의 상관마저 죽는다."

실무 규칙으로 번역하면 — 1~3%p 차이는 버려라(1,000문항의 탐지 한계가 3%p다, 독파모 ③편). 배수 차이는 믿어라(1.96% vs 70%대는 진짜다). 그리고 목표로 삼는 순간 그 지표는 계기판이기를 멈춘다.

남은 질문은 시간축이다. 좋은 벤치마크를 골라도, 그 벤치마크는 얼마나 오래 좋은 채로 남아 있는가. 다음 편 — 모든 시험지는 죽는다. 문제는 죽는지가 아니라, 얼마 만에 어떤 사인으로 죽는지다.

— 벤치마크는 실력을 재는가 ⑥ / 다음 글: 모든 시험지는 죽는다 — 수명주기와 심리측정학 100년

벤치마크는 실력을 재는가 ⑤ — 점수들은 함께 움직인다: 벤치마크가 실제로 재는 것

여기까지 읽었다면 "벤치마크는 전부 엉터리"라는 결론으로 기울었을 것이다. 이번 편은 그 결론을 막는 편이다. 벤치마크 무용론에는 나쁜 소식이 있다 — 점수들은 저차원으로, 놀랍도록 함께 움직인다.

LLM에도 g가 있다

서로 다른 벤치마크 점수들을 모아 주성분 분석을 돌리면 이런 그림이 나온다.

  • 공개 모델 수백 개의 벤치마크 점수에서 제1주성분(PC-1)이 분산의 약 80%를, 상위 3개 주성분이 약 97%를 설명한다(관찰적 스케일링 법칙 연구).
  • 리더보드 모델 1,232개를 분석한 별도 연구에서는 단일 일반 요인(g)이 성능 분산의 85%를 설명했다.
  • HELM 데이터의 요인 분석에서도 소수 요인이 대부분을 설명한다는 같은 구조가 나온다.

심리측정학에서 인간 지능 검사들이 서로 상관을 보이며 일반 지능 g를 정의했던 것과 같은 구조다. 그리고 이 축은 허공에 뜬 게 아니다 — PC-1과 학습 컴퓨트(log FLOPs)의 결정계수가 R² > 0.9다. 벤치마크들이 공통으로 재고 있는 그 무언가는 상당 부분 모델의 체급(컴퓨트가 만든 일반 능력)이다.

이 축은 예측력도 있다

"체급을 잰다"는 말이 공허하지 않은 이유는 실제 예측이 되기 때문이다.

  • AI2의 모델 사다리 연구는 타깃 컴퓨트의 1%만 쓰고 7B/13B 모델의 태스크 정확도를 절대오차 2%p 이내로 예측했다(친칠라 시리즈 ⑫편에서 다룬 그 결과다).
  • 관찰적 스케일링 연구는 약한 모델들의 기본 벤치마크 점수만으로 더 강한 모델의 에이전트 성능을 홀드아웃 예측하는 데 성공했다.

즉 — "진짜 실력은 벤치마크로 판단한다"를 "모델의 체급은 벤치마크로 판단한다"로 읽으면, 그 문장은 참이다. 7B와 프런티어를 구분하고, 후보 30개를 5개로 추리고, 새 체크포인트의 퇴행을 잡는 데 벤치마크는 실제로 작동한다. 이 시리즈의 첫 절반이 보여준 모든 결함에도 불구하고 그렇다.

그런데 상관에는 두 가지 함정이 있다

함정 1 — 겉상관과 실질 변별은 다르다. LMSYS 자신의 분석에서 MT-Bench는 아레나 순위와 스피어만 상관 91.3%를 보였다. 훌륭해 보인다. 그런데 같은 분석에서 신뢰구간을 고려한 일치율은 26.1%였다. 상관은 "대체로 같은 방향"이라는 뜻이지 "이 모델 쌍의 우열을 맞힌다"는 뜻이 아니다. 순위표 전체의 기울기와 인접한 두 모델의 비교는 완전히 다른 문제다(독파모 시리즈 ⑤편의 분리도 개념이 바로 이것이다).

함정 2 — 상관 수치는 모델 집합에 의존한다. 7B부터 프런티어까지 섞어 놓으면 무엇이든 상관이 높게 나온다 — 체급 차이가 다 쓸어담기 때문이다. 같은 체급끼리 좁혀서 다시 재면 상관은 크게 약해진다. "벤치마크 간 상관 0.9"라는 숫자를 볼 때는 어떤 모델들을 섞어서 잰 상관인지부터 확인해야 한다.

중간 판결

4심급(①오염 ②형식 ③포화 ④상관) 중 ④의 전반부 판결은 이렇다.

  • 벤치마크는 체급을 잰다 — 잘 잰다. 점수들은 컴퓨트에 묶인 단일 축으로 거의 다 설명되고, 그 축은 외삽 예측까지 된다.
  • 따라서 트리거 문장을 스크리닝과 회귀 게이트로 읽으면 참이다.
  • 그러나 같은 체급 안의 서열 판정은 상관이 보증하지 않는다 — 겉상관 91.3%가 실질 일치 26.1%로 무너지는 지점이 정확히 거기다.

그렇다면 남는 질문은 하나다. 체급이 같은 모델들 사이에서, 혹은 체급으로 설명되지 않는 영역에서 — 점수와 실제 효용은 왜, 어디서, 얼마나 갈라지는가. 다음 편은 그 갈라짐의 실증이다. 예고편: 학술 벤치마크에서 앞서던 모델이 실제 직무 산출물 평가에서 뒤집힌 사건, 같은 모델의 코딩 점수가 71.2%와 1.96%로 동시에 존재하는 사건.

— 벤치마크는 실력을 재는가 ⑤ / 다음 글: 그런데 왜 배신당하는가 — 잔차의 세계와 굿하트

벤치마크는 실력을 재는가 ④ — 벨레벨레라는 시험을 아십니까: Belebele 해부

MMLU는 다들 안다. 그런데 함께 인용되는 Belebele(벨레벨레)이 무엇인지 아는 사람은 의외로 드물다. 검색해 보면 한국 웹에는 이 시험에 대한 해설이 사실상 없다(한글 표기로 검색하면 축구선수가 나온다). 그래서 실물을 열어 본다.

시험지 실물

Belebele은 Meta가 2023년 공개한 다국어 독해 시험이다(arXiv 2308.16884, ACL 2024). 구조는 이렇다.

  • FLORES-200 코퍼스에서 가져온 지문 488개에, 지문당 1~2개씩 총 900문항의 4지선다.
  • 같은 900문항이 122개 언어 변형(구별 언어로는 115개)으로 존재한다 — 완전 병렬 109,800행. 한국어는 kor_Hang.
  • 정답은 항상 지문 안에 있다. 생성 능력, 추론 깊이, 문화 지식, 긴 문맥은 전부 시험 범위 밖이다. 짧은 지문을 읽고 답을 찾는 능력, 그게 전부다.

제작 품질 관리는 성실했다 — 5라운드 반복 제작에 최종 라운드에서 약 20%를 폐기했고, 정답 분포 검정과 편향 베이스라인 점검까지 했다. 시험지 자체는 잘 만든 물건이다. 문제는 그다음이다.

출생의 비밀 — 문항은 전부 영어로 태어났다

Belebele의 900문항은 전부 영어로 작성된 뒤 번역업체(LSP)가 121개 언어로 옮긴 것이다. 지문 역시 FLORES-200 — 영어 위주 원문을 전문 번역한 코퍼스다. 논문 스스로 한계 절에 translationese(번역투)와 FLORES 원문의 번역 오류를 명시했다.

이게 무슨 뜻인가. Belebele 한국어판은 한국어 시험이 아니라, 영어 시험의 한국어 번역본이다. 이 시험의 한국어 점수가 재는 것은 "번역된 위키 문체의 한국어를 읽고 번역된 질문에 답하는 능력"이지, 실제 한국어 사용자가 쓰는 언어 — 조사·존대·생략·한자어 층위 — 의 처리 능력이 아니다. ③편에서 본 Global-MMLU의 발견("번역해도 미국 시험지")과 정확히 같은 구조다.

점수의 역사 — 그리고 사라진 보고

시점모델영어한국어
2023 (논문)GPT-3.587.771.8
2023 (논문)Llama-2-70B90.972.9
2024EXAONE 3.0 7.8B—78.6
2025Gemma-2-9b-it93.3—
(참고)사람97.6—

2023년의 "어려운 시험"이 2년 만에 9B짜리 오픈 모델도 93점을 넘는 시험이 됐다. 고자원 언어에서는 포화다. 저자원 언어에서만 변별력이 남아 있는데, 그건 정확히 Meta가 이 시험을 만든 목적이다 — 프런티어의 실력 서열이 아니라 저자원 언어 커버리지 측정.

채택 계보도 시사적이다. 필자가 국내외 주요 테크리포트를 확인한 범위에서, Belebele을 보고한 국내 모델은 EXAONE 3.0(한국어 서브셋에서 당시 1위)과 DNA 1.0 둘이었고, EXAONE 3.5부터는 LG 자신도 이 시험을 표에서 뺐다. 국내 관행은 KMMLU·HAE-RAE·CLIcK·KoBALT — 한국어로 태어난 시험들 — 로 이동을 마쳤다. 해외 프런티어 리포트(Gemini·Gemma·Aya 등)에서도 2023년 이후 Belebele 보고를 찾지 못했다. 확인 못 한 것이 없다는 증명은 아니지만, 적어도 공개 보고 관행에서 이 시험이 사라진 것은 분명하다.

도구에는 죄가 없다

오해를 막기 위해: Belebele은 나쁜 벤치마크가 아니다. 122개 언어에 완전히 동일한 내용의 시험지를 제공하는 유일한 자원이고, 저자원 언어를 다루는 팀에게는 지금도 대체재가 없다. 스와힐리어와 한국어와 영어의 독해력을 같은 문항으로 비교할 수 있는 건 이 시험뿐이다.

문제는 인용 방식이다. "진짜 실력은 Belebele로 판단합니다"는 도구의 사용설명서를 거꾸로 읽은 문장이다. 저자원 언어 커버리지 스크리닝용으로 만들어진, 영어에서 번역된, 고자원 언어에서는 포화됐고, 제작사 진영조차 더 이상 보고하지 않는 독해 시험이다. 이걸로 2026년 한국어 모델의 "진짜 실력"을 판단한다는 것은 — 시험지의 어느 속성과도 맞지 않는다.

여기까지가 두 시험지의 해부다. 이제 시리즈의 후반부, 더 일반적인 질문으로 간다 — 벤치마크 점수라는 것이 도대체 무엇을 재고 있으며, 그 점수는 실제 효용을 얼마나 예측하는가. 다음 편은 벤치마크 무용론자들에게 나쁜 소식부터 전한다: 점수들은 놀랍도록 함께 움직인다.

— 벤치마크는 실력을 재는가 ④ / 다음 글: 점수들은 함께 움직인다 — 벤치마크가 실제로 재는 것

벤치마크는 실력을 재는가 ③ — 질문을 안 보여줘도 맞히는 시험: MMLU 해부 (하)

②편에서 시험지의 결함(출처·오류·오염)을 봤다. 이번 편은 더 근본적인 층위다 — 문항이 전부 완벽해도 남는 4지선다라는 형식의 문제, 그리고 눈금이 다 차버린 자라는 문제.

질문을 안 보여줘도 맞히는 시험

이런 실험이 있다(Balepur 외). 모델에게 질문을 아예 보여주지 않고 보기 4개만 제시한 뒤 "정답"을 고르게 한다. 상식적으로는 25% 근처가 나와야 한다. 결과는 — 모델·데이터셋 12개 조합 중 11개에서 무작위를 유의하게 초과했다. 보기들의 문체, 길이, 구체성 같은 표면 단서만으로 정답이 새고 있다는 뜻이다. 4지선다 점수에는 지식만이 아니라 시험 요령이 섞여 든다.

형식 민감도의 다른 증거들은 독파모 시리즈 ③편에서 다뤘으므로 요점만 갱신한다.

  • 정답 위치만 이동시켜도 llama-30B의 MMLU가 41.2%~68.2%, 27.0점 움직인다(Zheng 외, 0-shot). — 정정 고지: 독파모 ③편에 27.1로 적었던 값이다. 원표 재확인 결과 68.2−41.2 = 27.0이 맞아 해당 글도 수정했다.
  • 이와 별개로 보기 내용을 뒤섞는 실험(Gupta 외)에서는 falcon-40B-instruct가 −27.2%p 하락했다. 숫자가 비슷해 자주 혼용되는데 다른 논문의 다른 조작이다.
  • 사소한 형식 변경만으로 리더보드 순위가 최대 8계단 이동한 보고도 있다(Alzahrani 외).
  • 그리고 같은 지식을 서술형으로 묻면 4지선다 점수와의 상관이 낮다. 고르는 능력과 생성하는 능력은 다른 능력이다 — 실제 서비스에서 모델이 하는 일은 후자다.

눈금이 다 찼다 — 포화 연표

시점모델MMLU
—무작위 찍기25.0
2020GPT-343.9
2022Chinchilla67.6
2023GPT-486.4
2023-12Gemini Ultra90.04 — 인간 전문가선(89.8) 첫 돌파
현재상위 15개 모델89.4~92.5에 밀집 (폭 3.1%p)

(Chinchilla는 본문 표 평균 67.6, 초록 표기 67.5. Gemini Ultra 90.04는 CoT@32 조건이며 5-shot은 83.7 — 측정 조건이 다른 값을 한 표에 넣는 위험은 독파모 ③편에서 다룬 그대로다.)

상위 15개가 3.1%p 안에 몰려 있고, ②편에서 봤듯 시험지 오류율이 6.49%다. 상단에서 이 시험은 2024년에 변별력을 잃었다. 업계의 대응은 시험지 교체다:

  • MMLU-Pro — 보기를 4개에서 10개로 늘리고 추론형 문항을 보강. 기존 문항 5,886개를 "너무 쉬움"으로 폐기했고, 같은 모델들의 점수가 평균 16%p 하락했다.
  • MMLU-Redux — 오류 문항 정정판(②편).
  • Global-MMLU(Cohere) — 문화 의존성 감사판. MMLU의 28%가 문화 지식 문항이고, 그중 86.5%가 서구, 서구 중 73.9%가 미국 특정 지식임을 밝혔다. 번역해도 미국 시험지라는 뜻이다. 한국어로 기계번역한 MMLU가 한국어 실력 평가가 될 수 없는 구조적 이유다.
  • HLE(Humanity's Last Exam) — "다음 MMLU"를 표방한 고난도 시험. 현재 최고 기록 38.3%(Gemini 3 Pro, lastexam.ai 2026-09 조회) — 아직 눈금이 남은 몇 안 되는 자다.

공정한 결론 — MMLU를 버리라는 말이 아니다

MMLU는 여전히 쓸모가 있다. 단, 용도가 정해져 있다.

용도판정
경량·중형 모델의 체급 구분○ (아직 변별됨)
자사 모델 배포 전 회귀 테스트○ (싸고 빠름)
2020년부터의 역사적 추세선○ (유일한 연속 눈금)
프런티어 모델 간 서열 판정× (포화 + 오류율 > 간격)
한국어 실력 예측× (미국 중심 + 번역 무효)

"진짜 실력은 MMLU로 판단한다"는 주장의 1차 판결은 이렇다 — 이 시험지가 재는 것은 '2023년 수준까지의, 영어권 중심의, 4지선다 지식 회상'이다. 어떤 실력을(지식 회상만), 누구의 실력을(상단은 포화), 어느 언어의 실력을(미국 영어) 특정하지 않으면 저 문장은 성립하지 않는다.

그럼 함께 인용된 다른 시험지는 어떤가. 다음 편 — 벨레벨레라는 시험을 아십니까. MMLU는 다들 알지만, 함께 인용되는 이 시험의 실물을 열어 본 사람은 의외로 드물다.

— 벤치마크는 실력을 재는가 ③ / 다음 글: 벨레벨레라는 시험을 아십니까 — Belebele 해부

벤치마크는 실력을 재는가 ② — 이 시험지, 대학원생이 인터넷에서 긁어왔습니다: MMLU 해부 (상)

세계에서 가장 많이 인용되는 AI 시험지의 출생부터 확인하자. MMLU 논문(Hendrycks 외, 2020)에는 문항의 출처가 이렇게 적혀 있다 — 문항들은 대학원생과 학부생들이 "온라인에서 무료로 구할 수 있는 출처에서 수작업으로 수집"했으며, 출처에는 "GRE나 USMLE 같은 시험의 연습문제"가 포함된다. 총 15,908문항, 그중 테스트셋 14,042문항(논문 본문 표기는 14,079 — 공개 배포본 기준 14,042), 57개 과목.

즉 MMLU는 자체 출제된 시험이 아니다. 인터넷에 이미 있던 문제들의 모음집이다. 2020년에는 이게 문제가 아니었다 — 당시 최강 모델 GPT-3가 43.9%밖에 못 맞혔고, 제작 목적 자체가 "모델의 약점 지도 그리기"였다. 문제는 그다음에 벌어진 일이다. 이후의 모든 대형 모델이 바로 그 인터넷을 통째로 학습했다.

시험지 안에 무엇이 들어 있나 — 6.49%는 오류다

2024년, 연구자들이 MMLU 문항을 재검수했다(MMLU-Redux, 57개 과목 전수에서 5,700문항 재주석). 결과:

  • 전체 문항의 6.49%가 오류 — 정답 표기가 틀렸거나, 문제가 성립하지 않거나, 보기가 잘못됐다.
  • 과목별 편차가 크다. 최악은 바이러스학(Virology)으로 오류율 57%다. 절반 넘게 틀린 시험지로 바이러스학 실력을 채점해 온 것이다.
  • 오류 문항을 제거하고 다시 채점하면 리더보드 16위 모델이 1위가 되는 사례가 보고됐다.

이 오류율이 왜 치명적인지는 현재 리더보드와 겹쳐 보면 안다. 프런티어 상위 15개 모델의 MMLU 점수 폭이 약 3%p다(③편). 순위를 가르는 간격이 시험지 오류율의 절반이다. 상단 순위는 실력 차이가 아니라 어느 오류 문항에 어떻게 걸렸는지의 함수일 수 있다.

오염 — 사고가 아니라 구조

보통 벤치마크 오염은 "테스트셋이 실수로 학습 데이터에 섞이는" 사고로 이야기된다. MMLU는 다르다. 문항이 공개 웹에서 수집됐으므로, 웹을 크롤링해 학습하는 모든 모델에게 이 시험은 태생적으로 오픈북이다. 사고가 아니라 구조다.

증거는 세 겹이다.

  1. 출처 자체. 위에서 본 대로 — 문항의 원산지가 학습 코퍼스의 원산지와 같다.
  2. 제작사의 자기 고백. GPT-4 테크니컬 리포트는 자체 n-gram 오염 검사를 돌려 겹침 문항을 제외한 재채점 결과를 병기했고, BIG-bench는 오염 때문에 아예 보고에서 제외했다.
  3. 가장 직접적인 실험 — TS-Guessing. 문항에서 오답 보기 하나를 가리고 모델에게 그 빈칸을 채우게 한다. 실력으로는 맞힐 이유가 없는 과제다 — 오답은 출제자가 임의로 지은 것이니까. 그런데 GPT-4는 가려진 오답 보기를 57% 확률로 정확히 복원했다. 문제를 푸는 게 아니라 시험지를 기억하고 있다는 정황이다.

공정하게 덧붙일 것: 이 증거들은 "모든 모델이 MMLU를 통째로 외웠다"를 뜻하지 않는다. 오염 검출 연구들(Oren 외 등)은 모델·문항에 따라 오염 신호가 없는 경우도 많이 보고한다. 정확한 서술은 이것이다 — MMLU는 오염을 배제할 수 없게 설계된 시험이고, 오염의 크기는 모델마다 다르며, 외부에서 그걸 분리해낼 방법이 마땅치 않다. "몇 점이 실력이고 몇 점이 기억인지 알 수 없다"는 것 자체가 계측기로서의 결격 사유다.

그래서 1차 정리

여기까지가 시험지 자체의 결함이다 — 출처가 공개 웹이라 오염이 구조적이고, 문항의 6.49%가 오류이며, 그 오류율이 상단 순위 간격보다 크다. "진짜 실력은 MMLU로 판단합니다"라는 문장은 이 시점에서 이미 한 번 꺾인다.

그런데 아직 절반이다. 문항이 전부 정확하고 오염이 전혀 없다고 가정해도 남는 문제가 있다 — 4지선다라는 형식 그 자체. 다음 편의 첫 실험은 이것이다: 모델에게 질문을 보여주지 않고 보기 4개만 보여줬더니, 어떤 일이 벌어졌는가.

— 벤치마크는 실력을 재는가 ② / 다음 글: 질문을 안 보여줘도 맞히는 시험 — MMLU 해부 (하)

벤치마크는 실력을 재는가 ① — "진짜 실력은 벤치마크로 판단합니다", 좋다, 그 문장을 검증하자

업계에서 통용되는 문장이 하나 있다 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 이 문장을 쓴 사람이 누구든 중요하지 않다. 중요한 건 이 문장이 검증 가능한 주장이라는 것이다. 그래서 이 시리즈는 그 검증을 한다 — 두 시험지의 실물을 열어 보고, 점수가 실제 효용을 얼마나 예측하는지의 실증을 모으고, 마지막에 판결문을 쓴다.

먼저, 이 문장이 참이 되는 조건

반박부터 시작하면 공정하지 않다. 이 문장을 최대한 강하게 읽어 보자. 벤치마크로 실력을 판단하는 것이 옳은 경우가 실제로 세 가지 있다.

  1. 체급 스크리닝. 후보 모델 30개 중에서 우리 용도에 근접한 5개를 고르는 단계에서는 벤치마크만 한 도구가 없다. 7B급과 프런티어급은 벤치마크로 확실히 구분된다.
  2. 회귀 게이트. 우리 모델의 새 체크포인트가 이전보다 나빠지지 않았는지 확인하는 자동 검사로는 벤치마크가 유일한 현실적 수단이다.
  3. 역사적 눈금. 2020년의 GPT-3와 2026년의 모델을 같은 자로 비교할 수 있는 것은 그 자를 계속 유지했기 때문이다.

이 세 용도라면 저 문장은 참이다. 문제는 저 문장이 보통 그렇게 쓰이지 않는다는 것이다. 실제로는 "A 모델이 B 모델보다 벤치마크 몇 점 높으니 더 좋은 모델이다" — 서열 판정과 품질 보증에 쓰인다. 그 용법이 성립하는지가 이 시리즈의 질문이다.

두 시험지의 한 줄 정체

주장에 인용된 두 시험지가 무엇인지부터. 자세한 해부는 다음 편들에서 하고, 여기서는 한 줄씩만.

  • MMLU — 2020년 공개. 57개 과목, 테스트셋 14,042문항의 4지선다 지식 시험. 문항은 학생들이 공개 웹의 연습문제(GRE·USMLE 등)에서 수집했다.
  • Belebele(벨레벨레) — 2023년 Meta 공개. 지문 488개에 900문항을 전부 영어로 작성한 뒤 122개 언어 변형으로 번역한 4지선다 독해 시험. 한국어판은 한국어 시험이 아니라 영어 시험의 한국어 번역본이다.

이 한 줄들만으로도 질문이 생기기 시작할 것이다. 공개 웹에서 긁어온 문제로, 웹을 통째로 학습한 모델을 시험하면 무엇이 측정되는가? 영어로 태어난 독해 문제의 번역본으로 한국어 실력을 판단할 수 있는가?

판정 기준 — 네 개의 심급

이 시리즈는 두 시험지와 그 사용법을 네 가지 기준으로 심사한다.

심급질문다루는 편
① 오염시험지를 미리 본 응시자를 걸러낼 수 있는가②
② 형식4지선다라는 형식이 실력 외의 무엇을 재는가③
③ 포화눈금이 아직 남아 있는가③·④·⑦
④ 상관점수가 실제 효용을 예측하는가⑤·⑥

그리고 마지막 ⑧편에서 판결과 함께, 우리 회사가(그리고 여러분 회사가) 실제로 쓸 수 있는 판단 절차 7단계를 내놓는다.

전작과의 관계

이 블로그의 독파모 평가 해부 시리즈에서 측정 과학의 일반론 — 오차막대와 문항 수(③편), 오염 감사 기법(⑪편), 리더보드 게이밍(⑥편) — 은 이미 다뤘다. 이번 시리즈는 그 도구를 전제로 하되 반복하지 않고, 시험지 자체의 해부와 점수-효용 상관의 실증이라는 새 영역을 판다. 겹치는 대목은 포인터로만 처리한다.

결론을 아주 짧게 예고하면 이렇다 — 벤치마크는 체급을 잰다. 그건 실제로 잘 잰다. 그러나 "진짜 실력"이라 부를 만한 것의 상당 부분은 벤치마크 점수의 잔차에 산다. 이 두 문장이 어떻게 동시에 참인지가 이 시리즈의 내용이다.

시작은 시험지의 출생부터다. MMLU의 14,042문항은 어디서 왔는가 — 논문에 적혀 있는 답이 이 시리즈에서 가장 놀라운 사실일지도 모른다.

— 벤치마크는 실력을 재는가 ① / 다음 글: 이 시험지, 대학원생이 인터넷에서 긁어왔습니다 — MMLU 해부 (상)

2026년 8월 31일 월요일

독파모 평가 해부 ⑫ (완결) — 청구서: 방어 가능한 평가는 첫해 2,580만 원이다

마지막 편이다. 열한 편의 비판을 한 장의 설계도로 바꾼다. 우리 회사(그리고 어느 회사든)가 그대로 실행할 수 있는 평가 프로토콜과 그 원화 가격표다. 환율 1,380원/USD, 전부 가정을 명시한 필자 계산이며, 국내 어노테이션 업체들이 문항당 단가를 공개하지 않아 인건비는 공개 크라우드 플랫폼 단가와 최저임금 기준으로 유도했다.

10단계 프로토콜과 가격

단계내용비용
1. 사전등록⑪편의 8줄 + SHA-256 해시 공개0원 + 8시간
2. 공개 벤치 기준선하네스 버전 고정, 프로토콜 명시 실행GPU 소액
3. 자체 골든셋 1,000문항과제 유형·난이도 층화, 60~95% 정답률 구간 설계, 3분할약 1,850만 원
4. 오염 감사13-gram·캐너리·동형 신작 격차수십만 원
5. LLM 판정자 검증인간 라벨 대비 일치도 측정 후 채택약 76만 원
6. 사람 평가전문가 3인 × 300문항, 블라인드·IRR 보고약 416만 원
7. CI 회귀 평가체크포인트마다 자동 실행·드리프트 추적월 약 32만 원
8. 비용·지연 축₩/1M 토큰, p95 지연을 점수와 병기계측만
9. 보고 표준18항목 체크리스트(아래)0원
10. 분기 갱신신작 문항 보충, Sealed 셋 개봉 감사분기 약 110만 원
합계: 초기 구축 약 1,757만 원(8주) / 첫해 총 약 2,580만 원 / 2년차부터 연 약 825만 원최소판 약 320만 원

최소판(사전등록 + 크라우드 검수 300문항 + 판정자 검증 + 체크리스트)이 약 320만 원 + 월 10만 원이다. 5인 스타트업도 할 수 있는 가격이고, 국가는 말할 것도 없다. 독파모가 학습데이터 개방 항목 하나에 쓴 예산이 150억 원이다 — 방어 가능한 평가 체계는 그 0.2%다. 이 시리즈의 모든 문제는 돈이 없어서 생긴 게 아니다.

운용 규칙 세 개 — 숫자로

  1. 문항 수가 곧 발언권이다. 300문항으로는 약 10%p, 1,000문항으로는 약 3%p 차이까지만 말할 수 있다(80% 검정력 기준). 300문항 평가로 "0.7점 개선"을 주장하는 보고서는 그 문장에서 무효가 된다. 반대로, 판별 못 하는 차이는 "동점"이라고 쓰는 것이 정확한 보고다.
  2. LLM 판정자는 채용 면접을 통과해야 한다. 사람 라벨과의 일치도가 사람끼리의 일치도 이상임을 먼저 증명하고 쓴다(문헌 기준: 판정자-인간 85% vs 인간-인간 81%). 위치 편향이 있으므로 A/B 순서를 바꿔 두 번 묻는 것은 타협 불가 — 1,000판정에 중급 모델 기준 약 3천 원이다. 아낄 이유가 없다.
  3. 비용 없는 리더보드는 의사결정 도구가 아니다. 모든 표는 정확도 ± 95% CI, ₩/1M 토큰, p95 지연을 함께 싣는다. 궁극의 한 줄 지표는 "정답 1건당 원가"다.

평가 보고서 체크리스트

모든 평가 보고서 말미에 붙일 항목들: 모델 버전·커밋 / 하네스 이름·버전 / 프롬프트 템플릿 전문 / 샷 수 / 문항 수 n / 반복 횟수·시드 / 온도 등 디코딩 설정 / 95% 신뢰구간 / 검정 방식과 보정 / 슬라이스별 분해 / 골든셋 버전 해시 / 오염 감사 결과 / 판정자 모델·버전 / 판정자-인간 일치도 / 사람 평가 IRR / 비용·지연 / 평가 일자 / 사전등록 링크.

굵게 표시한 세 줄 — 오염 감사, 판정자 일치도, 사전등록 링크 — 이 남들 보고서에 없는 것들이고, 이 세 줄이 있는 보고서는 그 자체로 신뢰의 증표가 된다.

다음 국가 평가 공고문에 들어가야 할 것

이 시리즈의 발견을 공고문 언어로 바꾸면 이렇게 된다. ①배점·환산식·프로토콜의 사전 공개와 해시 봉인(⑪) ②모든 점수에 문항 수·반복 횟수·신뢰구간 병기(③④) ③사람 평가의 블라인딩·루브릭·IRR 공개(⑤) ④홀드아웃·신작 문항·캐너리에 의한 오염 방지, 회차 간 문항 재사용 금지(⑥⑪) ⑤외부 지수 사용 시 버전 고정·기록(⑦) ⑥한국어 능력의 제3자 측정 — 독립 리더보드 재건(⑧) ⑦상대 컷 대신 절대 기준선, 탈락 대신 사전 선언 목표 대비 평가(⑨) ⑧평가자 독립성·이해관계 공표·명문화된 이의절차(⑩). 여덟 항목 전부 선례가 있거나 이 시리즈에서 가격이 계산됐다.

마치며

이 시리즈는 정부가 틀린 팀을 잘랐다고 주장하지 않았다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장했다. 검산 가능했던 것은 전부 검산했고 — 산수는 맞았다, 순위는 가중치 변경에 견고했다, 사용자 격차는 실재했다 — 확인 불가능했던 것들의 목록을 남겼다: 전문가 채점의 산포, 문항 수, 측정 프로토콜, 환산식의 확정 시점, 블라인딩 여부, 이의절차의 존재.

확인할 수 있게 만드는 비용은 첫해 2,580만 원, 시니어 개발자 연봉의 4분의 1이다. 그중 가장 효과가 큰 장치 — 결과를 보기 전에 규칙을 써서 해시로 봉인하는 것 — 는 0원이다.

그리고 이건 남의 이야기가 아니다. 필자의 회사도 모델을 만들고, 우리 모델도 언젠가 누군가의 표 위에 오른다. 그때 우리가 요구할 수 있으려면 우리부터 이 기준으로 재고 있어야 한다. 이 시리즈의 프로토콜은 오늘부터 우리 평가 파이프라인의 사양서다. 남의 숫자를 믿지 말고, 우리 숫자는 남이 믿을 수 있게 만들자.

— 독파모 평가 해부 ⑫ (완결) / 관련 시리즈: 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용), RAG 종류 총정리

독파모 평가 해부 ⑪ — 결과를 보기 전에 숫자를 쓴다: 사전등록과 오염 방지

비판은 ⑩편으로 끝났다. 여기서부터는 설계도다. 그리고 첫 번째 부품은 이 시리즈 전체에서 비용 대비 효과가 가장 높은 장치인데, 가격이 0원이다. 결과를 보기 전에 규칙을 쓰고, 그것을 고칠 수 없게 봉인하는 것 — 사전등록(pre-registration)이다.

왜 이게 핵심인가

임상시험은 수십 년 전에 이 문제를 겪었다. 결과를 본 뒤에 평가 기준을 고르면, 고르는 사람이 악의가 없어도 결론이 오염된다 — 지표가 여러 개면 그중 하나는 우연히 유리하게 나오기 마련이고, 사람은 그걸 "원래 중요했던 지표"로 기억한다. 해법은 단순했다. 시험 전에 주 지표와 판정 규칙을 등록하고, 등록과 다른 분석은 "탐색적"이라고 표시한다.

AI 평가에도 같은 장치가 2026년 현재 실증돼 있다. 하나는 평가 프로토콜 문서의 SHA-256 해시를 미리 공개해 두는 방식 — 나중에 프로토콜을 슬쩍 바꾸면 해시가 달라져 들통난다. 다른 하나는 더 우아하다. "아직 나오지 않은 다음 모델"에 대해 평가를 등록하는 것 — 등록 시점에 존재하지 않는 모델에는 유리한 기준을 고를 수가 없다. 이 방식이 기준 선택을 통한 결과 왜곡을 실험에서 73.9% 차단했다.

독파모에 대입해 보라. 배점(25/15/35/15/10)이 언제 확정됐고 참가자에게 언제 공지됐는지, AAII÷4 환산이 결과를 보기 전에 정해진 것인지 — 공개된 자료로는 알 수 없다. 사후에 정해졌다고 주장하는 게 아니다. 사전에 정해졌음을 증명할 수단을 만들지 않았다는 것이고, 해시 공개 한 줄이면 그 증명이 공짜였다는 것이다. 실제로 벤치마크 비중 조정이 "검토 중"이라는 발표가 결과 공개 직후에 나왔는데, 사전등록 체계가 있었다면 이런 발표 자체가 "다음 회차 규칙의 사전 공지"라는 정상적인 형태를 가졌을 것이다.

사전등록 문서에 들어갈 8줄

  1. 의사결정 규칙 — 숫자로. "총점 X점 미만이면 탈락" 또는 "주 지표에서 기준선 대비 유의한 개선이면 채택".
  2. 주 지표 단 하나. 나머지는 전부 보조 지표로 명시.
  3. 가중치 — 그리고 그 가중치의 근거 한 줄씩.
  4. 평가셋 버전 — 골든셋 파일 해시, 분할 방식, 서브샘플 ID까지.
  5. 판정 방법 — 사람이면 루브릭·평가자 수·일치도 하한, LLM 판정자면 모델 버전·프롬프트·검증 결과(⑫편).
  6. 표본 크기와 검정력 — "이 문항 수로는 몇 %p까지 판별 가능"을 스스로 명시.
  7. 통계 검정 계획 — 검정 방식, 다중비교 보정, 유의수준.
  8. 중단·예외 규칙 — 어떤 경우에 평가를 무효로 하는가.

이 문서를 쓰고 해시를 공개하는 데 드는 비용: 0원 + 약 8시간. 인건비로 쳐도 수십만 원이다. 효과: 평가 결과에 대한 거의 모든 종류의 사후 시비 차단.

오염 방지 — 3분할과 감사 4종

⑥편에서 봤듯 생존이 걸린 반복 평가에서 오염 방지는 전제 조건이다. 실무 설계는 이렇다.

평가셋 3분할.

  • Public 30% — 공개. 참가자가 형식을 파악하고 이의를 제기할 수 있게. 오염되는 것을 전제로 운영한다.
  • Internal 50% — 비공개, 회차마다 사용. 점수의 주력.
  • Sealed 20% — 암호화 보관, 분기 1회만 개봉. Internal 점수와 Sealed 점수의 격차가 벌어지면 Internal이 오염됐다는 신호다.

오염 감사 4종. ①공개 코퍼스와의 13-gram 중복 스캔 ②멤버십 추론(Min-K% Prob) ③캐너리 문자열 — 평가셋에 고유 GUID를 심어 두고 모델이 그것을 완성하는지 검사(BIG-bench가 이 방식의 원조다) ④동형 신작 문항과의 격차 측정 — 기존 문항과 같은 난이도로 새로 만든 문항에서 점수가 뚝 떨어지면 그 격차가 곧 오염의 크기다(GSM1k 방식, 유명 모델들에서 실측 최대 8%p).

그리고 가장 중요한 것 하나. 오염 방지의 90%는 기술이 아니라 권한 분리다. 골든셋 저장소를 학습 파이프라인의 서비스 계정이 읽을 수 없게 하라. 평가 담당자와 학습 담당자를 분리하라. 골든셋을 어떤 외부 SaaS에도 올리지 마라(프롬프트 로깅이 곧 유출이다). 이건 국가 사업이든 5인 스타트업이든 똑같이 적용된다.

한국어 평가셋의 오염 저항 — 선택지는 넷뿐이다

⑧편의 재료들을 오염 관점에서 다시 정리하면, 구조적으로 오염을 막는 한국어 평가 설계는 네 가지다.

방식사례대가
연 1회 최신 기출만 사용최신 수능·자격시험 회차연 1회만 갱신 가능
전문가 신작KoBALT(웹과의 trigram 중복 0.7%)문항당 제작비
절차적 생성 + 시드 재생성NOLLI 방식만들 수 있는 과제 유형 제한
완전 비공개 홀드아웃SEAL, 사우디 BALSAM외부 재현 불가 — 운영자 신뢰 필요

넷 다 장단이 있고, 그래서 실무 답은 조합이다 — 공개 셋으로 투명성을, 신작·절차 생성으로 주력 측정을, 봉인 셋으로 오염 감시를. 국가 벤치마크가 이 구조를 갖추면 ⑥편의 "탈락제가 오염을 보상한다" 문제가 실제로 풀린다.

마지막 편이 남았다. 지금까지의 모든 부품 — 오차막대, 사람 평가 설계, 판정자 검증, 사전등록, 오염 방지 — 를 하나의 프로토콜로 조립하고, 원화 가격표를 붙인다. 미리 말하면, 총액은 시니어 개발자 연봉의 4분의 1이다.

— 독파모 평가 해부 ⑪ / 다음 글: 청구서 — 방어 가능한 평가 체계는 첫해 2,580만 원이다

독파모 평가 해부 ⑩ — 누가 재는가: 평가자 독립성은 이미 법 조문으로 있다

지금까지의 문제들 — 오차막대 없음, 프로토콜 미공개, 자기 채점 — 을 관통하는 근본 질문은 하나다. 누가 재는가, 그리고 재는 사람은 누구로부터 독립적인가. 좋은 소식은, 이 질문에 대한 답을 한국이 발명할 필요가 없다는 것이다. 이미 법 조문과 정부 표준 문서로 존재한다. 번역해서 공고문에 붙이면 된다.

이미 문장으로 존재하는 것들

  • EU AI Act 제68조 — AI 평가를 담당하는 과학 패널은 "AI 시스템 또는 범용 AI 모델의 어떠한 제공자로부터도 독립적"이어야 하고, 위원 각자가 이해관계 신고서를 공표한다. 조문으로만 있는 게 아니다 — 2026년 6월 독립 전문가 60인이 임기 2년으로 실제 임명됐다.
  • 미국 NIST AI 600-1 (MS-1.3-003) — "구조화된 인간 피드백 훈련을 수행하는 자가 동일 모델의 개발 업무에 직접 관여하지 않았음을 검증하라." AI RMF MEASURE 1.3 — "일선 개발자가 아닌 내부 전문가 및/또는 독립 평가자가 참여한다."
  • EU 범용 AI 실천규약 부속서 3 — 한국이 필요한 목록이 한 문서에 다 있다: 통계적 유의성과 검정력 보고, 학습-평가 데이터 분리, 캐너리 문자열, 게이밍(샌드배깅) 방지, 다회 반복 실행, 블라인딩, 평가자 간 일치도, 독립 외부 평가자(예외는 20영업일 공개 모집이 실패했을 때뿐), 평가 연구자에 대한 법적 안전항구, 그리고 결과 발표를 30영업일 넘게 막을 수 없다는 조항까지.

이 문서들이 요구하는 것을 한 줄로 줄이면 — 평가자는 개발자와 분리되고, 이해관계는 공표되고, 방법은 공개되고, 결과 발표는 막을 수 없다.

한국 구조에 대입하면

독파모의 평가 체계는 NIA가 벤치마크를 만들고, NIPA가 사업 관리와 이의 심의를 하며, 둘 다 과기정통부 산하다. 분명히 해 두는데, 이것이 부정이 있었다는 뜻이 아니다. 지적은 정확히 이것이다 — 위 세 문서가 요구하는 종류의 분리 장치(평가자의 독립성 요건, 이해관계 신고·공표, 자금 집행 주체와 평가 주체의 분리)에 대응하는 규정이 이 사업에 있는지 공개된 자료로 확인되지 않는다. 규정이 있는데 공개만 안 됐다면 공개하면 되고, 없다면 위 조문을 번역해 넣으면 된다. 어느 쪽이든 다음 회차 공고문에서 해결 가능한 문제다.

전문가 10명(④편)의 명단과 이해관계도 같은 문제다. 익명 유지에는 이유가 있을 수 있다 — 로비 차단. 그렇다면 EU 방식이 답이다. 명단은 공개하되 개별 채점은 익명으로. 신원과 이해관계 신고는 공표하고, 누가 어느 팀에 몇 점을 줬는지는 봉인하는 것. 로비도 막고 검증도 가능하다.

이의절차 — 국제 표준형이 있다

모티프의 이의제기는 이 글을 쓰는 시점까지 공개된 답변이 없고, 애초에 이 사업에 정의된 이의절차가 있었는지도 확인되지 않는다. 참고할 표준형은 EU 연구 예산(Horizon)의 평가 재검토 절차다 — 30일 이내 제기, 분량 제한, 그리고 중요한 두 가지: 재검토 범위는 절차적 하자에 한정하고("평가의 실질 판단"은 대상이 아님), 대신 재평가가 결정되면 이전 평가에 관여하지 않은 평가자가 다시 평가한다.

이 설계가 좋은 이유는 양쪽을 보호하기 때문이다. 탈락 팀에게는 절차를 다툴 길을 주고, 평가자에게는 "점수가 마음에 안 든다"는 무한 재심 요구를 차단해 준다. 한국에 필요한 건 네 줄이다 — ①절차의 존재 ②기한 ③범위 ④재평가 시 평가자 교체.

흥미로운 사실 — 아무도 안 한 것이 남아 있다

정확히 하자. 위의 조문들은 전부 규제·안전 평가용이다. 이 시리즈가 다루는 상황 — 예산 배분을 위한 역량 평가 — 에 대해서는, 조사한 7개 관할권 어디에도 ①사전등록 의무 ②이의절차 ③이해상충 규정의 완결된 세트가 없다. 일본이 목표 사전선언으로 절반쯤 갔고(⑨편), 나머지는 공백이다.

즉 한국은 두 가지를 할 수 있다. 평가자 독립성은 베끼면 되고, 자금 배분 평가의 사전등록·이의절차는 세계 최초로 만들면 된다. "글로벌 격차 몇 점 축소"보다 이쪽이 훨씬 확실하게 잡을 수 있는 세계 1위다. 그리고 진지하게 — AI 평가 체계의 신뢰성은 앞으로 모든 나라가 필요로 하게 될 수출품이다.

이 편의 규칙 — 우리 회사용

  1. 모델을 만든 사람이 그 모델의 평가를 소유하면 안 된다. 작은 조직이라도 평가 담당과 학습 담당은 분리하고, 최소한 골든셋 접근 권한을 나눠라(⑪편에서 구체화).
  2. 외부에 점수를 낼 때는 이해관계를 먼저 적어라. "우리가 만든 벤치마크에서 우리 모델이 1위"라는 표에는 그 문장이 있어야 한다.
  3. 평가에 불복 절차를 미리 정의하라. 사내 모델 채택 결정도 마찬가지다 — 절차 없는 결정은 결과가 옳아도 신뢰를 잃는다.

이제 비판은 끝났다. 남은 두 편은 설계도다. 다음 편은 이 시리즈에서 비용 대비 효과가 가장 높은 장치 — 0원짜리 — 에서 시작한다. 결과를 보기 전에 규칙을 쓰는 것.

— 독파모 평가 해부 ⑩ / 다음 글: 결과를 보기 전에 숫자를 쓴다 — 사전등록과 오염 방지

독파모 평가 해부 ⑨ — 탈락시키는 나라는 없었다: 7개 관할권 비교

"여러 팀에 국가 자원을 주고, 라운드마다 종합점수로 줄 세워 하위 팀을 자르고, 살아남은 팀에 GPU를 몰아준다." 독파모의 구조다. 이 구조를 다른 나라에서 찾아봤다 — 일본, EU, 영국, 미국, 싱가포르, 사우디, 그리고 상금 대회까지. 찾지 못했다. 이번 편은 그 비교다. (해외 사업의 예산 규모는 공식 출처 확인이 안 되는 값이 많아 이 글에서는 다루지 않는다.)

일본 GENIAC — 가장 가까운 비교 대상, 정반대의 선택

일본의 GENIAC은 독파모와 가장 비슷한 사업이다 — 정부가 여러 팀에 컴퓨트를 지원해 자국 파운데이션 모델을 만들게 한다. 그런데 운영이 정반대다.

  • 탈락시키지 않는다. 팀 수가 10 → 21 → 24로 늘었다. 기수마다 새로 공모하고 재응모를 허용한다. 4기는 아예 "영역 특화 모델 개발"로 사업 성격을 바꿨다.
  • 1기에는 공정성을 명시하며 held-out 평가셋을 구축했고(외부 평가 플랫폼과 협업), 최하위 모델은 순위로 깎는 대신 왜 낮았는지를 주석으로 달아 공개했다.
  • 2~3기는 공통 리더보드를 버리고 "사전 선언한 목표 대비 실적"으로 전환했다. 각 팀이 개발 목적, 채택 벤치마크, 목표 수치를 미리 선언하고 실적을 보고한다 — 사실상의 사전등록이다. 그리고 미달을 그대로 공개한다: 한 팀은 영상 품질 지표 목표 545 대비 실적 804(낮을수록 좋음), 다른 팀은 목표 8.60 대비 7.88 — 전부 "미달" 표기로 공표됐고, 그래도 사업에서 잘리지 않았다.
  • 평가에 쓴 데이터셋을 GitHub/HuggingFace에 공개해 공공재로 남긴다.
  • 지원이 취소된 유일한 사례는 성능이 아니라 신청서 허위 기재였다 — 근거 규정 조항과 반환액(약 1억 엔)까지 공표했고 영문으로도 냈다.

요약하면 일본은 "평가는 학습 신호, 퇴출은 부정행위에만"이라는 원칙으로 운영한다. 독파모는 평가를 퇴출 장치로 쓴다 — ⑥편에서 봤듯 그 구조는 오염을 유인한다.

절대 기준 vs 상대 컷 — EuroHPC의 선택

EU의 컴퓨트 배분(EuroHPC)은 심사를 하되 상대 순위가 아니라 절대 기준선을 쓴다 — 항목당 5점 만점에 3점, 합계 15점에 10점을 넘으면 자격이 있다. 경쟁자가 몇 점이든 내가 기준을 넘으면 된다. 그리고 배정받은 자원을 회수하는 사유는 "성능 미달"이 아니라 "배정받고 안 쓴 것"이다. 이의신청은 15일 이내 제기, 1개월 내 회신으로 절차가 명문화돼 있다. 상대 컷은 팀들을 서로의 적으로 만들고, 절대 기준은 팀들을 기준의 경쟁자로 만든다. 어느 쪽이 벤치마크 게이밍을 덜 유인하는지는 자명하다.

탈락제를 정말 쓴 곳이 하나 있다 — 그리고 그 대가

공정하게, 점수로 탈락시킨 사례를 하나 찾았다. 미국 DARPA의 AI 사이버보안 챌린지(AIxCC)는 42팀을 7팀으로 잘랐다. 그런데 조건이 다르다.

  • 이건 국가 역량 육성 사업이 아니라 상금 대회다.
  • 채점식을 39쪽 규격서로 사전 공개했다 — 정확도 승수의 수식(AM = 1−(1−r)⁴)까지.
  • 팀별 원점수를 공개했고, 채점 오류가 발견되자 정오표를 내고 점수를 수정했다(70→63).
  • 결과물 전원 오픈소스화를 의무화했다.

즉 탈락제를 쓰려면 이만큼의 투명성이 전제라는 게 유일한 선례의 교훈이다. 그리고 하나 더 — 그렇게까지 했는데도 후속 연구는 7개 우승 시스템이 "원래 팀 밖에서는 사실상 사용 불가"였다고 보고했다. 대회 최적화의 산물은 대회 밖에서 잘 작동하지 않는다. 탈락 토너먼트가 만드는 모델이 산업 현장에서 쓸 모델과 같으리라는 가정 자체를 의심해야 한다.

이해상충 — "없다"가 아니라 "보이게 한다"

다른 나라라고 이해관계가 깨끗한 게 아니다. 일본 심사위원 명단에는 산업 당사자가 들어 있고, 사별 교부액·컴퓨트는 일본도 공개하지 않는다. 싱가포르는 같은 기관이 자국 모델(SEA-LION)과 그 모델이 1위인 리더보드(SEA-HELM)를 함께 운영한다. 사우디의 국가 평가 플랫폼 BALSAM은 저자 일부가 피평가 팀과 겹친다.

차이는 공개 여부다. 사우디 BALSAM은 유일하게 확인된 블라인드 홀드아웃 국가 평가 플랫폼인데, 그 위에서 자국 대표 모델이 4위라는 결과를 그대로 공개한다(GPT 계열과 중국 모델 두 개 아래). 싱가포르 SEA-HELM은 ③편에서 봤듯 8회 반복 + 부트스트랩 + 95% 신뢰구간으로 전환했다. "이해상충이 없다"가 아니라 "이해상충과 불리한 결과가 보인다"가 이들 시스템의 방어선이다.

비교표

프로그램점수 탈락사전 공개된 채점 규칙홀드아웃오차막대명문화된 이의절차
일본 GENIAC✗ (팀 증가)목표 사전선언1기 ○✗—
EuroHPC✗ (절대 기준)○ (3/5·10/15)——○ (15일/1개월)
사우디 BALSAM✗○○ 블라인드——
싱가포르 SEA-HELM✗○부분○ 8회+CI—
DARPA AIxCC (상금 대회)○ (42→7)○ 39쪽 규격+정오표○—○
독파모○ (5+1→3)배점만 공개미공개✗확인 안 됨

독파모는 가장 강한 조치(탈락)를 쓰면서 가장 약한 투명성으로 운영되는 유일한 사례다. 탈락제 자체가 절대 악은 아니다 — 그걸 쓴 유일한 곳이 지불한 투명성의 값을 안 냈다는 것이 문제다.

그럼 남은 질문은 사람이다. 누가 재는가, 재는 사람은 누구로부터 독립적인가. 놀랍게도 이 질문의 답은 이미 법 조문으로 존재한다.

— 독파모 평가 해부 ⑨ / 다음 글: 누가 재는가 — 평가자 독립성은 이미 법 조문으로 존재한다

독파모 평가 해부 ⑧ — 한국어 능력을 검증한 제3자가 아무도 없다

사업의 이름은 "독자 AI 파운데이션 모델"이다. 존재 이유가 한국어와 한국 산업이라는 뜻이다. 그런데 이 시리즈를 준비하며 네 팀의 공개된 한국어 벤치마크 점수의 출처를 전수 추적한 결과가 이렇다. 전부 자기가 매긴 점수다.

영어는 제3자가 재고, 한국어는 아무도 안 잰다

영어권 능력은 Artificial Analysis가 네 팀 모델 전부를 같은 조건에서 독립 실행했다(⑦편). 그런데 한국어 벤치마크는 제3자 보고도, 독립 재실행도 0건이다. KMMLU든 자체 제작 벤치마크든, 표에 실린 한국어 숫자는 모두 그 모델을 만든 회사가 스스로 돌려 스스로 보고한 값이다.

독립 검증 인프라가 없어서다. 유일했던 공개 한국어 리더보드들의 현재 상태: Open Ko-LLM Leaderboard는 2024-12-09 이후 RUNTIME_ERROR 상태로 멈춰 있고 — 그마저 운영 주체가 평가 대상 기업인 업스테이지였다 — 국립국어원 말평은 2024-09 이후 정지, 또 다른 리더보드는 접속 자체가 막혀 있다. 2026년 한국에는 작동하는 독립 한국어 LLM 리더보드가 하나도 없다.

그 공백을 각 사가 자체 벤치마크로 메운다. LG는 KMMLU-Redux/Pro와 자체 안전성 벤치마크를(자사 모델 99.8점), 업스테이지는 Ko-GDPval 등 자체 세트를(170과제, 비공개), KT도 자체 세트를 만들었다. 벤치마크 제작 자체는 기여다 — 문제는 그다음이다. 자기가 출제한 시험을 자기가 치르고 자기가 채점한 점수들을, 서로 다른 시험끼리 한 표에 놓고 비교하는 것. 이 표가 지금 한국어 모델 담론의 기본 화폐다.

공용 자라는 것들의 상태

"그럼 공용 벤치마크로 재면 되지 않나"가 다음 질문인데, 그 자들의 상태가 이렇다.

  • KMMLU — 한국어 대표 벤치마크. 후속 감사(제작진 일부가 참여한 KMMLU-Redux/Pro 논문)가 스스로 밝힌 수치: 테스트셋 결함 문항 7.66%, 내부 중복 5.36%, 학습-테스트 오염 5.46%. 라이선스가 CC-BY-ND라 고친 버전을 만들어 배포할 수도 없다. 그리고 한국 특화 지식을 요구하는 문항은 20.4%뿐 — 나머지는 번역해도 성립하는 일반 지식이다.
  • 포화 — CLIcK는 2024년 최고 48.6%에서 2026년 91.6%가 됐다. 현재 국내 상위 모델 간 변별폭이 HRM8K 2.8%p, KorMedMCQA 7.2%p 수준이다. 생성 평가 LogicKor는 "상위권 모델에 대한 변별력이 거의 없어졌습니다"라는 공지와 함께 공식 아카이브됐다. ②편에서 본 NIA 벤치마크의 99.8~100.0 포화는 이 생태계의 일부다.
  • 반면 아직 변별하는 자도 있다 — 언어학 전문가가 신작한 KoBALT(최고 0.61), 그리고 한국어 웹 에이전트 과제 K-BrowseComp: 해외 프론티어 30~45.7% vs 국내 모델 0.0~10.3%. 격차가 가장 크게 벌어진 축이 정작 국가 평가에는 없다.

같은 자를 모티프에게도

이 시리즈가 모티프 편이라고 읽혔다면 여기서 교정한다. 모티프 3의 기술 리포트 14.6만 자에는 `KMMLU`가 0회, `Korean`이 1회 등장한다. 한국어 벤치마크 점수를 하나도 싣지 않은 것이다. "독자 AI" 사업에서 벤치마크 종합 1위를 한 모델이 정작 한국어 능력의 공개 증거를 제시하지 않았다 — 이 비판은 정부와 모티프 양쪽을 향한다. 사족으로, 모티프의 영어권 자기보고는 16개 중 9개가 AA 독립 측정과 소수점까지 일치할 만큼 정직했다. 정직한 보고와 빠진 보고는 별개의 문제다.

제3자 평가가 한 번 있었다 — 그리고 그 평가도 같은 자로 재야 한다

공개된 유일한 제3자 한국어 계열 평가가 서강대 수학과 연구팀의 수능 수학 평가다(46문항, 모델당 3회 실행). 여기서 나온 발견 하나는 진짜로 중요하다 — 모델의 1회 정답률과 3회 통합(pass@3)의 격차가 키미 K3는 3.6%p인데 모티프 3는 24.6%p였다. 같은 시험을 세 번 쳤을 때의 편차가 모델마다 7배 다르다는 것으로, ③편의 "반복 없는 측정은 무효"를 국내에서 실증한 값이다.

그런데 이 평가를 인용하려면 이 평가의 한계도 전부 같이 인용해야 공정하다: 모티프만 API가 아니라 웹 채팅 UI로 사람이 손으로 측정했고, SKT는 아예 제외됐으며, 업스테이지는 사업에 제출한 모델이 아닌 상용 모델로 평가됐고, 문항은 영어로 번역됐고, 1번 문항은 지수 표기가 손상돼 모델이 "오타 같다"고 지적했는데 오답 처리됐고, 온도·시드는 미공개이고, 동료평가를 거치지 않았다. 한계가 이만큼 열거될 수 있는 것은 연구팀이 방법을 공개했기 때문이다 — 그 점에서 이 평가는 방법을 공개하지 않은 국가 평가보다 과학에 가깝다. 다만 이 결과로 특정 팀의 탈락을 정당화하는 데 쓰면 안 된다.

없는 것을 만드는 길은 이미 보인다

비판만 하고 끝내지 않기 위해, 한국어 평가의 공백을 메울 재료가 이미 학계에 나와 있다는 것을 적어 둔다.

  • KCSAT-ML — 수능 수학 664문항인데, 그중 339문항에는 수십만 명 응시자의 공식 문항별 오답률이 붙어 있다. 모델이 틀리는 문항이 사람이 어려워한 문항인지까지 잴 수 있다(같은 정답률의 두 모델이 완전히 다른 프로파일을 가질 수 있다).
  • NOLLI — 시드로 문항을 절차적으로 재생성하는 설계. 오염되면 시드를 바꿔 새 시험지를 뽑는다. 오염 문제의 구조적 해법이다.
  • 그리고 무엇보다 — 죽어 있는 독립 리더보드를 국가가 살리면 된다. 평가 대상이 아닌 기관이, 오차막대와 함께, 홀드아웃 문항으로. 그 설계는 ⑪·⑫편에서 다룬다.

다음 질문. 이 모든 문제 — 탈락제, 자기 채점, 죽은 계측기 — 를 다른 나라는 어떻게 다루고 있을까. 7개 관할권을 확인했고, 결론부터 말하면 종합점수로 팀을 자르는 나라를 찾지 못했다.

— 독파모 평가 해부 ⑧ / 다음 글: 탈락시키는 나라는 없었다 — 7개 관할권 비교

독파모 평가 해부 ⑦ — 25점을 건 계측기를 뚯어봤다: AAII

회사에서 성과급의 25%를 외부 SaaS 대시보드의 숫자 하나에 연동하기로 했다면, 당신은 계약 전에 그 숫자의 계산식을 볼 것이다. 독파모는 100점 중 25점을 Artificial Analysis Intelligence Index(AAII)에 걸었다. 그래서 그 계산식을 뜯어봤다.

이 지수는 무엇을 재는가 — "지능"이 아니라 에이전트 작업 수행

평가 시점의 현행 버전 v4.1.1은 9개 벤치마크, 4개 범주로 구성된다.

범주구성비중
에이전트GDPval-AA v2 20% + τ³-Banking 14%34%
코딩Terminal-Bench v2.1 16% + SciCode 8%24%
과학 추론HLE 12% + GPQA Diamond 6% + CritPt 6%24%
일반AA-Omniscience 12% + AA-LCR 6%18%

에이전트+코딩이 58%다. 이건 "지능 지수"라기보다 에이전트 워크플로 수행 지수다. 그 자체로 나쁜 게 아니다 — 문제는 이 구성이 "독자 파운데이션 모델"의 국가적 목표(한국어 능력, 산업 활용성)와 어떻게 대응하는지 아무도 설명하지 않은 채 25점이 배정됐다는 것이다. 참고로 한국어 관련 항목은 0%다.

계측기로서의 상태

  • 최대 비중 항목(GDPval-AA v2, 20%)의 반복 횟수는 1회다. Elo 방식이고, 기준 점수는 "모델이 추가된 시점에 동결"된다.
  • 공개 변경이력이 없다. 방법론 페이지에 버전 히스토리 섹션이 없고, 공개 API에는 시계열 조회도 버전 필드도 없다. 그래서 "지수 구성이 바뀔 때 과거 점수가 재계산되는가"라는 기본적인 질문에 외부에서 답할 수 없다. 실제로 AAII 점수를 인용한 논문 두 편이 둘 다 버전 표기 없이 인용했다 — 몇 달 뒤 그 숫자는 재현 불가능해진다.
  • 지수의 약 74%는 외부에서 재현할 수 없다. 문항이 완전 공개된 구성 요소는 HLE(12%) + SciCode(8%) + GPQA Diamond(6%) = 26%뿐이다.

그리고 가장 심각한 것. 구성 요소 하나가 감사 결과 계측기로서 고장나 있었다. 2026-08-05 공개된 SciCode 감사 논문은 65개 문제에서 263건의 결함을 찾았고, 그중 192건이 정답을 오답으로 판정하는 채점기 결함이었으며 주 문제의 91%가 영향을 받았다. 채점을 고치자 정확도가 9~27%에서 69~92%로(+60~83%p) 뛰었다. SciCode는 AAII의 8%다. 그리고 이 논문의 공개일(08-05)은 독파모 평가 기간(08-04~11로 보도됨)과 겹친다. 평가에 쓰인 AAII 값이 수정 전 SciCode를 포함했다면, 국가 평가의 25점 중 일부가 고장난 채점기 위에서 계산된 것이다 — 어느 시점의 값을 썼는지는 공개되지 않았으므로 이건 확인을 요구하는 질문으로 남긴다.

공정하게: AA가 잘하는 것

비판만 하면 절반짜리 글이다. Artificial Analysis는 몇 가지를 업계 누구보다 잘한다.

  • 비용·속도 실측. 하루 8회 측정, 72시간 P50 중앙값 보고. 품질-가격-속도를 한 화면에 놓는 곳은 사실상 여기뿐이고, 이건 진짜 공공재다.
  • 벤더 자기보고에 대한 대항 축. 제조사가 체리피킹한 점수 대신 제3자가 같은 조건으로 돌린 값을 준다. 실제로 모티프의 자기보고 16개 중 9개가 AA 측정치와 소수점까지 일치했다 — AA가 있어서 검증이 가능했던 것이다.
  • 합성 지표에 신뢰구간 추정을 공개하고(±1% 미만 주장), 자체 하네스를 MIT 라이선스로 공개한다.

AA는 좋은 도구다 — 엔지니어의 모델 선택 도구로. 이 시리즈의 주장은 "AA가 나쁘다"가 아니라 "버전 관리도 재현성도 보장되지 않는 외부 상용 지수에 국가 예산 배분의 25%를 거는 것은 용도 오류"라는 것이다.

그리고 한국 모델은 3축 중 1축만 측정됐다

AA의 설계 철학은 지능·가격·속도의 3축 트레이드오프다. 그런데 국산 오픈웨이트 모델의 AA 페이지를 보면 — 모티프 3 기준 — 지능 47, 가격 $0.00, 속도 N/A다. 상용 API가 아니니 가격·속도 축이 비어 있고, 속도 측정 인프라 자체가 미국 GCP 리전 한 곳에서 돌아가므로 국내 서빙과 무관하다. 정부는 3축짜리 도구에서 마침 값이 채워진 1축만 떼어 25점을 매겼다.

덧붙여 ①편의 환산 문제를 다시 보자. AA 원점수 ÷ 4는 AAII를 100점 만점으로 취급한 것인데 세계 최고가 63점이다. ②편에서 확인했듯 이 압축을 고쳐도 순위는 안 바뀐다 — 하지만 "고쳐도 안 바뀐다"는 것을 확인하는 계산조차 정부가 아니라 외부인이 해야 했다는 게 이 시리즈의 반복되는 패턴이다.

이 편의 규칙 — 우리 회사용

  1. 외부 지수를 의사결정에 쓰려면 버전을 고정하고 기록하라. "AAII 47점"이 아니라 "AAII v4.1.1, 2026-08-31 조회, 47점".
  2. 재현 불가능한 지표에는 상한 비중을 둬라. 우리가 다시 돌려볼 수 없는 숫자에 큰 결정을 걸지 않는다.
  3. 합성 지수는 분해해서 봐라. "지능 1점"이 에이전트 과제에서 온 것인지 장문 이해에서 온 것인지에 따라 우리 서비스와의 관련성이 완전히 다르다.

AAII 25점은 그래도 제3자 측정이었다. 다음 편은 더 근본적인 공백이다 — 이 사업의 이름이 '독자 AI'인데, 정작 한국어 능력 점수는 전부 자기가 매긴 것이다.

— 독파모 평가 해부 ⑦ / 다음 글: '한국어 능력'을 검증한 제3자가 아무도 없다

독파모 평가 해부 ⑥ — 부정행위 없이 리더보드를 이기는 법

평가를 이야기할 때 흔히 "부정행위만 막으면 된다"고 생각한다. 이번 편의 요지는 반대다. 규칙을 하나도 어기지 않고 점수를 올리는 방법들이 이미 정량화돼 있고, 탈락제는 바로 그 방법들을 쓰라고 등을 떠민다.

사례 1: 여러 번 응시하고 최고점만 낸다

2025년의 "The Leaderboard Illusion" 연구가 LMArena에서 실증한 것이다. Meta는 Llama 4 출시 전 27개의 비공개 변종을 아레나에서 테스트하고 가장 좋은 것만 공개했다. 시뮬레이션으로는 같은 실력의 변종 20개만 돌려도 최고 점수가 약 50 Elo 상승한다. 동전을 스무 번 던져 제일 잘 나온 기록을 내는 것과 같은 원리다 — 어느 규칙에도 어긋나지 않는다.

데이터 접근도 비대칭이었다. 아레나 전체 대화 데이터에서 구글이 19.2%, OpenAI가 20.4%를 가져가는 동안 오픈웨이트 모델 83개가 합쳐서 29.7%를 나눠 가졌다. 그리고 아레나 데이터로 학습하면 아레나 승률이 23.5%에서 49.9%로 +112% 뛰는데, MMLU 점수는 오르지 않는다. 실력이 아니라 시험 적응이 늘어난 것이다.

사례 2: 평가 기관이 "우리 평가는 뚫린다"고 자백한다

미국의 국가 평가 기관 CAISI는 자기 평가에서 발생한 게이밍 비율을 스스로 측정해 공개한다 — Cybench 0.3%, SWE-bench 0.1% + 채점기 게이밍 0.2%, 내부 CVE-Bench는 4.8%. 수치보다 중요한 건 태도다. 정부 평가 기관이 자기 계측기의 뚫린 구멍을 수치로 공개하는 것 — 이게 평가를 과학으로 다루는 기관의 모습이다.

구조: 탈락제는 오염을 보상한다

2025년의 벤치마크 관행 연구는 이렇게 정리한다 — "리더보드는 평가를 경쟁으로 바꿔 놓았고, 그 결과 개발자가 벤치마크에 직접 최적화하도록 유인한다." 그리고 오염(테스트셋이 학습에 섞이는 것) 탐지 기법은 회피 가능하다는 것도 함께 보였다.

이걸 독파모 구조에 대입해 보자. 평가에서 지면 GPU 배정이 끊기고 사업에서 퇴출된다. 벤치마크 구성은 알려져 있다(AAII 구성 벤치마크는 공개돼 있고, NIA 벤치마크는 1차에서 한 번 치렀으니 2차 팀들은 그 성격을 안다). 이 조건에서 "평가에 나올 것과 비슷한 데이터를 학습 후반에 더 넣는" 선택은 부정행위가 아니다 — 합리적 경영 판단이다. 그게 문제다. 생존이 걸린 반복 평가에서, 오염을 막는 책임을 참가자의 양심에 맡기는 설계는 작동할 수 없다.

여기서 공개돼야 할 질문이 하나 나온다. NIA 벤치마크의 문항은 1차와 2차에서 같은 세트였는가, 갱신됐는가. 같은 세트라면 2차 점수는 "능력"과 "1차 문항에 대한 적응"을 구분할 수 없다. ②편에서 본 NIA 항목의 극단적 포화(네 팀 99.8~100.0)는 두 해석 모두와 부합한다 — 그래서 더더욱 공개가 필요하다.

국내 정황 — 의혹과 부인을 같은 문장에

2026년 8월, 일부 참여 기업이 벤치마크 점수 최적화 작업을 외주했다는 이른바 "벤치맥싱" 의혹이 보도됐다. 4개사 전원이 부인했고, 확인된 계약은 없다. 이 시리즈는 이 의혹을 사실로 취급하지 않는다. 여기서 인용하는 이유는 하나다 — 당시 과기정통부의 해명이 "전문가·이용자 평가로 보완된다"였는데, ②편에서 계산했듯 그 보완 장치라는 전문가 평가의 실효 가중치는 16.9%였고 통계적으로 4팀을 변별하지 못한 유일한 항목이었다(④편). 의혹의 진위와 무관하게, 방어 논리가 성립하지 않는다는 것은 산수로 말할 수 있다.

막는 방법은 알려져 있다

이 문제에는 검증된 해법이 있다. 뒤의 ⑪편에서 자세히 다루지만 예고만 하면:

  • 비공개 홀드아웃 — 참가자가 한 번도 본 적 없는 문항으로만 최종 판정. 민간에서는 이미 표준이다(SEAL 리더보드는 "그 조직이 처음 접하는 프롬프트"를 규칙으로 명시한다).
  • 매 회차 신규 문항 — LiveBench는 매달 문항을 갈아 끼우는 것으로 오염 저항을 설계에 내장했다.
  • 오염 감사 — 새로 만든 동형 문항과의 점수 격차를 재면 오염의 크기가 나온다(GSM1k 방식, 실측 최대 8%p).
  • 캐너리 문자열 — 평가셋에 고유 식별자를 심어 학습 데이터 혼입을 사후 탐지.

전부 독파모가 쓸 수 있었고 다음 회차에 쓸 수 있는 것들이다. 탈락제를 유지하려면 오염 방지는 선택이 아니라 전제 조건이다.

그런데 잠깐 — 지금까지 벤치마크 블록을 "40점"으로 뭉뚱그렸다. 그중 25점은 특정 외부 회사의 지수 하나에 걸려 있었다. 다음 편은 그 계측기를 분해한다. 국가 예산 결정의 4분의 1을 건 자, Artificial Analysis Intelligence Index.

— 독파모 평가 해부 ⑥ / 다음 글: 25점을 건 계측기를 뜯어봤다 — AAII

독파모 평가 해부 ⑤ — 60점을 사람에게 맡겼다: 사람은 무엇을 채점하나

④편의 결론은 "사용자 점수 격차는 실재하지만, 그것이 무엇을 잰 것인지 모른다"였다. 이번 편은 그 빈칸을 문헌으로 채운다. 사람에게 모델을 채점시키면 사람은 무엇을 채점하는가. 독파모는 100점 중 60점을 사람에게 맡겼다 — 전문가 35, AI 전문사용자 15, 일반국민 10. 이 선택이 무엇을 의미하는지 알려면 사람 선호 평가에 대해 알려진 것들을 봐야 한다.

사람은 정답이 아니라 문체에 투표한다

가장 큰 규모의 사람 선호 평가는 LMArena(구 Chatbot Arena)다. 그리고 그 운영자 스스로가 자기 데이터의 편향을 정량화했다. 선호 투표를 회귀분석하면 응답 길이의 계수가 0.249로, 마크다운 목록(0.031)·헤더(0.024)·볼드(0.019)보다 8~13배 크다. 길게 쓰면 이긴다는 뜻이다. 실제로 문체 효과를 통제한 순위를 발표하자 한 모델이 6위에서 18위로 12계단 떨어졌다. 조작이 아니다 — 사람 선호가 원래 그렇게 생겼다는 운영자 자신의 보고다.

정확성 쪽은 더 불편하다.

  • 스택오버플로 질문에 대한 ChatGPT 답변을 분석한 연구: 답변의 52%가 부정확했는데, 사용자들은 그중에서도 35%를 사람 답변보다 선호했고 오류의 39%를 알아채지 못했다. 선호 이유로 꼽힌 것이 "포괄성과 잘 다듬어진 문체"다.
  • 단정적인 문체로 쓰인 출력에서 비전문가는 사실 오류의 2.2%를, 전문가는 24.6%를 탐지했다. 자신감 있는 문체는 비전문가에게는 오류를 가려 주고, 전문가에게는 오히려 검증 대상으로 보이게 한다.
  • 크라우드 평가자의 평가자 간 일치도(Krippendorff α)를 실측한 연구에서는 0.11~0.27 — 사용 불가 수준 — 이 나왔고, 문항당 판단에 걸린 시간의 중앙값은 13초였다.

모델 쪽에도 이 편향에 올라타는 성질이 있다. RLHF로 학습된 모델은 사용자 의견에 동조하는 방향으로 보상받아 왔고, 선호 보상모델이 진실한 답변보다 아첨하는 답변을 95%의 경우에 선호한다는 측정이 있다. "확실해요?"라고 되묻기만 해도 일부 모델은 맞는 답의 86~98%를 뒤집었다. 즉 사람 선호 60점은 모델의 능력만이 아니라, 사람 비위를 맞추도록 튜닝된 정도를 함께 잰다.

몇 명이면 되는가 — 그리고 몇 문항이면 되는가

표본 크기 문제도 계산이 된다(필자 계산, 이항 검정, α=0.05, 검정력 80%).

  • 55:45 정도의 선호 차이를 입증하려면 무승부 제외 783건의 판정이 필요하다.
  • 52.5:47.5이면 3,139건이다.

독파모의 전문사용자 49명·일반국민 185명이 각각 몇 건의 판정을 했는지는 공개되지 않았다. 1인당 여러 문항을 평가했다면 충분했을 수도 있다 — 그 산수를 공개하면 되는데 하지 않았다.

문항 수 쪽에는 더 유용한 개념이 있다. 분리도(separability) — 전체 모델 쌍 중 신뢰구간이 겹치지 않는 쌍의 비율이다. 160문항짜리 MT-Bench의 분리도는 22.6%다. 즉 77%의 모델 쌍은 애초에 순위를 가릴 수 없다. 1,000문항으로 늘린 Arena-Hard는 87.4%다. 독파모 사람 평가의 과제 수와 분리도는 공개되지 않았다.

공정하게: 문제는 '일반국민'이 아니라 '구조 없는 선호 투표'다

여기서 "일반인에게 물어본 게 잘못"이라고 결론 내리면 틀린다. 구조를 주면 비전문가도 잘한다. 토론·체크리스트·참조자료를 제공한 실험에서 비전문가 정확도가 76%까지 올라갔고, 리커트 척도 대신 이진 판정 + 근거 서술(Boolean 루브릭)을 쓰면 일치도가 오르고 평가 시간이 절반으로 줄어든다는 실무 보고가 있다. 사람 평가는 벤치마크가 못 재는 것(실사용 맥락, 한국어의 자연스러움)을 잴 수 있는 유일한 도구이기도 하다. 문제는 도구가 아니라 설계다.

그래서 방어 가능한 사람 평가의 최소 요건은 정해져 있다 — 블라인딩(어느 팀 모델인지 가림), 제시 순서 무작위화, 사전 등록된 루브릭과 앵커 예시, 평가자 캘리브레이션, 평가자 간 일치도(IRR) 보고, 길이·서식 통제, 표본 크기 근거. 독파모 사람 평가 60점에서 이 중 무엇이 지켜졌는지, 하나도 공개되지 않았다.

블라인딩 하나만 봐도 상태를 알 수 있다. 한 보도는 "블라인드 평가"라 했고, 정부 자료는 "제시 순서 무작위"라고 표현했으며, 모티프는 이의제기에서 "블라인드를 요청했다"고 주장했다 — 블라인드였다면 나올 수 없는 주장이다. 세 서술이 서로 충돌하는데 어느 것이 사실인지 확인할 공개 자료가 없다. 60점짜리 측정의 가장 기본적인 설계 항목이 이 상태다.

이 편의 규칙 — 우리 회사용

  1. 사람 선호 점수를 "품질"로 읽지 마라. 그것은 품질 + 길이 + 문체 + 아첨의 합성 신호다. 길이·서식을 통제하고, 정확성은 별도 축으로 재라.
  2. 비전문가에게는 선호를 묻지 말고 구조화된 과제를 줘라. 체크리스트, 참조자료, 이진 판정.
  3. IRR을 계산하지 않은 사람 평가는 버려라. α 0.2짜리 패널의 평균은 정보가 아니다.
  4. 블라인딩과 순서 무작위화는 협상 대상이 아니다. 그리고 그렇게 했다고 문서로 남겨라 — "했다"와 "했다고 증명할 수 있다"는 다르다.

여기까지가 사람 쪽이다. 그런데 벤치마크 쪽은 단단한가? 다음 편은 더 불편한 이야기다 — 규칙을 하나도 어기지 않고 리더보드에서 이기는, 이미 정량화된 방법들. 그리고 탈락제가 바로 그 방법들을 쓰도록 유인한다는 구조적 문제.

— 독파모 평가 해부 ⑤ / 다음 글: 부정행위 없이 리더보드를 이기는 법

독파모 평가 해부 ④ — 3.2점에 오차막대를 붙여봤다

고백부터. 필자는 이 계산을 "3.2점 차이는 노이즈였다"고 쓰기 위해 시작했다. ③편에서 본 문헌들이 그렇게 예고했으니까. 그런데 계산은 그렇게 나오지 않았다. 이번 편은 이 시리즈에서 가장 정직한 편이고, 그래서 가장 중요한 편이다.

이 평가의 표본 단위는 문항이 아니라 사람이다

③편의 "문항 수" 논리를 그대로 가져오면 안 된다. 독파모 2차 평가의 100점은 성격이 다른 두 블록이다.

  • 벤치마크 40점 — 표본 단위가 문항. AAII 쪽은 문항 수와 반복 횟수가 공개돼 있다(GPQA 198문항×5회, HLE 1,079×2, Terminal-Bench 89×3 등). NIA 쪽은 문항 수 미공개.
  • 사람 평가 60점 — 표본 단위가 사람. 전문가 10명(최고·최저 절사 후 유효 8명), AI 전문사용자 49명, 일반국민 185명.

사람 블록의 오차는 평가자 수와 평가자 간 산포(σ)로 결정된다. 문제는 σ가 공개되지 않았다는 것이다. 그래서 아래 계산은 전부 시나리오다 — 다만 결정적 기준으로 "그 척도에서 산술적으로 가능한 최대 σ"(0~S점 척도에서 S/2)를 포함시켰다. 이 값에서도 유의하다면, 어떤 실제 산포에서도 유의하다는 뜻이다. (전부 필자 계산, 비대응·정규근사·양측 α=0.05.)

계산 ① 일반국민 10점 — 노이즈일 수 없다

LG 7.6 vs 모티프 5.7, 격차 1.9점, n=185.

σ 가정zp
5.0 — 0~10 척도에서 산술적 최대3.650.00026
2.57.31<10⁻¹²

모든 평가자가 0점 아니면 10점만 주는 극단적 세계에서도 유의하다. 185명 격차 1.9점은 노이즈일 수 없다.

계산 ② 전문사용자 15점 — 역시 실재한다

SKT 11.6 vs 모티프 8.4, 격차 3.2점, n=49. 산술적 최대 σ=7.5에서도 z=2.11(p=0.035), 현실적인 σ=3이면 z=5.28. 탈락을 만든 가장 큰 격차 — 사용자 블록의 5.0점 — 는 통계적으로 실재하는 격차다.

계산 ③ 전문가 35점 — 유일하게 무너지는 항목

LG 29.5 vs 모티프 27.1, 격차 2.4점, 유효 n=8.

σ 가정z판정
5.00.96유의하지 않음 (p=0.34)
4.01.20유의하지 않음 (p=0.23)
2.02.40p=0.016 — 다중비교 보정 실패

유의해지려면 전문가 10명이 35점 척도에서 표준편차 2.1점 이내(척도의 6%)로 합의했어야 한다. 전문가끼리의 일치도가 LLM 출력 평가에서 79~90% 수준이라는 문헌을 감안하면 비현실적인 가정이다. 명목 배점이 가장 컸던 항목이, 통계적으로는 네 팀을 변별하지 못한 유일한 항목이다. ②편의 실효 가중치 결과(35점 배점, 실효 16.9%)와 정확히 겹친다.

계산 ④ 그래서 총점은

총점 격차의 유의성은 전문가 항목의 산포가 지배한다. 시나리오별로:

  • 1위-2위 0.7점, 2위-3위 0.9점: 어떤 시나리오에서도 유의하지 않다. SKT, 업스테이지, LG는 통계적으로 동점이다.
  • 3위-4위 3.2점: 전문가 산포에 따라 갈린다. 전문가들이 일관됐다면(σ_d=2) 다중비교 보정까지 통과하고, 중간(σ_d=4)이면 보정에서 탈락하고, 산포가 컸다면(σ_d=8) 유의하지 않다.

즉 탈락 결정의 통계적 성립 여부는 전적으로 전문가 10명의 채점 산포에 달려 있고, 그 값은 공개되지 않았다. 여기서 이 시리즈의 가장 구체적인 요구가 나온다 — 정부는 이 값을 갖고 있다. 항목별 평가자 표준편차 한 줄을 공개하면 이 논쟁은 산수로 끝난다.

예상과 달랐던 결론 — 정밀도가 아니라 타당도다

필자의 예상은 "전부 노이즈"였다. 실제 결과는 셋으로 갈렸다 — 상위 3팀은 동점이고, 전문가 항목은 변별에 실패했지만, 탈락을 만든 사용자 격차 자체는 실재한다.

그러니 정직한 결론은 이것이다. 이 평가의 문제는 측정의 정밀도가 아니다. 49명과 185명은 그들이 잰 것을 꽤 정밀하게 쟀다. 문제는 그들이 무엇을 쟀느냐다. 일반국민 185명이 준 1.9점 차이는 실재한다 — 그런데 그 점수는 모델의 무엇을 반영하는가? 답변의 정확성인가, 문체의 매끄러움인가, 응답 속도인가, 말투인가? 그리고 그것이 "6개월 내 출시된 글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 무슨 관계인가? 이 연결을 설명하는 문서를 찾지 못했다.

이 시리즈의 핵심 문장을 여기서 처음 쓴다. 이 글은 정부가 틀린 팀을 잘랐다고 주장하지 않는다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장한다. 오차막대가 없어서 확인할 수 없고, 사람 점수가 무엇을 재는지 정의되지 않아서 확인할 수 없다.

그럼 다음 질문은 정해져 있다. 사람 60점 — 사람은 모델의 무엇을 채점하는가. 이 질문에는 놀랄 만큼 구체적인 연구가 쌓여 있다.

— 독파모 평가 해부 ④ / 다음 글: 60점을 사람에게 맡겼다 — 사람은 무엇을 채점하나

독파모 평가 해부 ③ — 평가는 실험이다, 그런데 표준오차가 없다

우리는 버튼 색깔 하나를 바꾸는 A/B 테스트에도 p-value를 요구한다. 그런데 수천억 원짜리 국가 사업의 팀 탈락을 결정하는 모델 평가에는 왜 오차막대를 요구하지 않는가. 이번 편은 독파모를 잠시 내려놓고, 모델 평가 점수라는 것이 물리적으로 얼마나 흔들리는 물건인지를 문헌으로 확인한다. 다음 편에서 이 도구를 들고 독파모의 3.2점으로 돌아간다.

점수는 측정값이고, 측정값에는 오차가 있다

벤치마크 정확도는 "문항이라는 표본에서 추정한 모델 능력"이다. 그러면 표본 오차가 있다. Anthropic의 "Adding Error Bars to Evals"가 이걸 정식으로 정리했다. 정확도 p, 문항 수 n일 때 표준오차는 √(p(1−p)/n)이고, 여기서 바로 실무 감각이 나온다.

문항 수95% 신뢰구간 반폭 (p=0.7 부근)
100약 ±9.0%p
300약 ±5.2%p
1,000약 ±2.8%p
14,000 (MMLU 규모)약 ±0.8%p

(필자 계산, 위 논문의 공식.)

같은 논문의 검정력 계산으로는, 두 모델의 3%p 차이를 80% 검정력으로 판별하는 데 약 969문항이 필요하다. 그래서 저자의 권고가 "새 평가셋은 최소 1,000문항"이다. 300문항짜리 평가로 1점 차이를 논하는 것은 동전 던지기를 리포트하는 것과 다르지 않다.

이건 시작일 뿐이다. 표본 오차는 오차의 하한이고, 실제로는 측정 조건이 점수를 훨씬 크게 흔든다.

같은 모델, 같은 시험, 다른 점수

  • 구현체(하네스)만 바꿔도: 같은 llama-65b의 MMLU가 한 구현에서 0.637, 다른 구현에서 0.488 — 14.9점 차이다. Falcon-7B의 ARC는 14.3점, Mistral-7B의 MMLU는 10.3점 벌어졌다. 전부 공개된 재현 실험이다.
  • 프롬프트 서식만 바꿔도: 같은 문제를 묻는 형식만 바꿔 Mistral-7B의 ARC가 +22.3%p 움직였고, 극단적인 사례로는 서식 변경만으로 최대 76점까지 움직인 보고가 있다.
  • 객관식 보기 순서만 바꿔도: llama-30B의 MMLU가 41.2%~68.2%, 27.0점 스윙.
  • 문항을 같은 뜻으로 바꿔 쓰기만 해도: 한 모델이 벤치마크 순위 1위와 9위 사이를 오갔다.

한국어 실측도 있다. 같은 EXAONE-3.5-32B의 KMMLU를 LG는 57.0으로, SKT는 57.17로, 카카오는 46.36으로 보고했다 — 10.8점 차이다. 부정이 아니다. 원인은 규명돼 있다 — 카카오는 5-shot direct, LG는 0-shot CoT 프로토콜을 썼다. 측정 프로토콜을 명시하지 않은 점수는 비교 대상이 아니라는 뜻이다. 독파모의 NIA 벤치마크 15점이 어떤 프로토콜(샷 수, CoT 여부, 반복 횟수, 온도)로 측정됐는지는 공개되지 않았다.

업계 전체가 이 기준에 못 미친다 — 그래서 기회다

공정하게 말하면 이건 독파모만의 문제가 아니다. 벤치마크 관행을 감사한 BetterBench 연구는 유명 벤치마크 24개를 심사해 대부분이 통계적 유의성 자체를 보고하지 않는다고 결론지었다. 신뢰구간을 붙이는 것만으로 상위 몇 %에 드는 것이 2026년 현재 업계의 수준이다.

그리고 바뀔 수 있다는 선례도 있다. 싱가포르 주도의 동남아 언어 평가 SEA-HELM은 논문 시점에 "단일 실행, 오차막대 없음 — 대부분의 다른 벤치마크와 마찬가지로"라고 적었다가, 지금 라이브 리더보드는 8회 독립 실행 + 부트스트랩 2,000회 + 95% 신뢰구간으로 돌아간다. 비난이 아니라 선례로 인용한다 — 국가 평가 기관이 오차막대를 다는 것은 가능하다. 이미 한 곳이 하고 있다.

반복 실행이 왜 중요한지는 국내에서 이미 실증됐다. 서강대 연구팀이 수능 수학 46문항을 모델당 3회씩 돌렸는데, 어떤 모델은 1회 정답률과 3회 통합(pass@3)의 격차가 24.6%p까지 벌어졌다(이 평가 자체의 한계는 ⑧편에서 따로 다룬다). 3회만 돌려도 드러나는 불안정성을, 1회 측정 점수만으로 비교하는 표가 시중에 얼마나 많은지 생각해 보라.

이 편의 규칙

  1. 점수 하나가 아니라 점수 ± 신뢰구간을 보고하라. n을 모르면 신뢰구간을 계산할 수 없고, 신뢰구간이 없으면 순위는 해석 불가능하다.
  2. 측정 조건(하네스 버전, 프롬프트 템플릿, 샷 수, 반복 횟수, 온도)을 점수와 함께 적어라. 조건이 다른 점수를 한 표에 넣는 순간 그 표는 무효다.
  3. 1,000문항 미만의 평가로 3%p 미만의 차이를 주장하지 마라.

이제 도구가 준비됐다. 다음 편에서 이 도구를 독파모의 점수표에 실제로 들이댄다. 예고하면 — 계산 결과는 필자가 예상했던 것과 달랐다.

— 독파모 평가 해부 ③ / 다음 글: 3.2점에 오차막대를 붙여봤다

독파모 평가 해부 ② — 100점 중 15점은 아무 일도 하지 않았다

①편에서 점수표의 산수가 맞는다는 걸 확인했다. 이번 편은 그 표를 다른 각도에서 읽는다. 배점표에 적힌 숫자와, 실제로 순위를 만든 숫자는 다르다.

배점은 의도이고, 분산이 현실이다

배점표는 이렇게 말한다 — 전문가 평가가 35점으로 가장 중요하고, AAII가 25점, NIA 벤치마크와 전문사용자가 각 15점, 일반국민이 10점이다. 그런데 어떤 항목이 순위에 실제로 기여하는지는 배점이 아니라 그 항목이 팀 간에 만들어내는 점수 차이(분산)가 결정한다. 모든 팀에게 똑같은 점수를 주는 항목은 배점이 100점이어도 순위에 아무 영향이 없다.

네 팀의 항목별 점수에서 각 항목이 총점 분산에 기여한 몫을 계산하면(필자 계산, n=4의 기술통계임을 명시한다 — "이 4팀에서 그랬다"는 뜻이지 보편 법칙이 아니다):

항목명목 배점4팀 격차실효 가중치배율
AAII254.141.7%×1.67
AI 전문사용자153.228.9%×1.93
전문가352.416.9%×0.48
일반국민101.910.9%×1.09
NIA 벤치마크150.71.7%×0.11

배점표와 현실이 정반대다.

  • 명목 배점이 가장 큰 전문가 35점의 실효 가중치는 16.9% — 배점의 절반도 작동하지 않았다.
  • 명목 15점짜리 전문사용자가 실효 2위(28.9%)다. 배점 대비 거의 2배로 작동했다.
  • 그리고 NIA 벤치마크 15점의 실효 가중치는 1.7%다.

100점 중 15점은 아무 일도 하지 않았다

NIA 벤치마크 항목의 네 팀 점수는 12.7, 12.8, 13.3, 13.4다. 변별폭이 0.7점 — 만점의 4.7%다. 네 팀이 사실상 같은 점수를 받았고, 이 항목은 상수였다.

왜 이렇게 됐는지는 범주별 원점수에 단서가 있다. NIA 벤치마크 8개 범주 중 지시이행은 네 팀이 99.8~100.0, 사회적 안전성은 98.8~100.0이다. 완전히 포화된 시험지다. 모두가 100점을 받는 시험은 아무것도 재지 못한다 — 시험이 쉬워서 모두가 잘하는 것인지, 모두가 잘해서 시험이 의미 없어진 것인지조차 구분할 수 없다.

이건 이 사업만의 문제가 아니라 한국어 벤치마크 전반의 상태다(⑧편에서 본다). 참고로 벤치마크 설계 문헌에는 기저 정답률이 60~95% 구간을 벗어나면 변별력이 사라진다는 실무 기준이 있다. 99.8%는 그 상한을 한참 벗어나 있다. 국가 벤치마크의 절반이 죽은 눈금 위에서 채점됐다.

공정하게: 가중치를 바꿔도 순위는 안 바뀐다

여기서 멈추면 "가중치 장난으로 결과가 뒤집혔다"는 인상이 남을 텐데, 그건 사실이 아니다. 검산해 봤다.

  • 다섯 항목을 균등 배점(20/20/20/20/20)으로 바꿔도 순위는 SKT > 업스테이지 > LG > 모티프 그대로다.
  • 순위가 바뀌려면 벤치마크 블록의 비중을 약 60% 이상으로 올려야 한다.
  • AAII의 환산 상한 문제(①편의 "도달 불가능한 9.25점")를 실제 세계 최고 63점 기준으로 고쳐 다시 계산해도 모티프는 여전히 4위다(72.68 vs LG 73.48, 100점 환산).

즉 모티프가 이의제기에서 주장한 "AAII 격차 16점이 4점으로 압축됐다"는 수치적으로 정확하지만, 그 압축을 고쳐도 결과는 바뀌지 않는다. 이 결과는 가중치의 소소한 변경에 견고하다. 이건 정부에게 유리한 사실이고, 그래서 그대로 쓴다.

하지만 이 견고함이 말해 주는 것을 정확히 읽어야 한다. 순위가 안 바뀌는 이유는 모티프가 사람 평가 세 항목에서 전부, 크게 졌기 때문이다(전문가 −2.4, 전문사용자 −3.2, 일반국민 −1.9). 그러니 진짜 질문은 가중치가 아니라 이것이다 — 그 사람 점수들은 무엇을 잰 것인가. 그리고 벤치마크에서 이기고 사람 평가에서 진 팀을 자르는 것이 "글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 정합적인가.

이 편의 교훈 — 우리 회사용

자체 평가 체계를 설계할 때 그대로 가져갈 규칙 세 개.

  1. 가중치는 배점이 아니라 분산으로 정의된다. 배점표를 만들었으면 시뮬레이션으로 실효 가중치를 확인하라. 우리가 중요하다고 적은 항목이 실제로 순위를 움직이는지.
  2. 포화된 지표는 배점에서 빼거나 어렵게 만들어라. 전 대상이 95%를 넘는 항목은 눈금이 아니라 장식이다.
  3. 민감도 분석을 발표에 포함하라. "가중치를 바꿔도 결론이 유지되는가"는 한 시간짜리 계산이고, 이번처럼 결론이 견고하다면 그건 평가자에게 유리한 증거다. 왜 이 계산을 정부가 아니라 블로거가 하고 있는지 모르겠다.

다음 질문. 격차가 0.7점, 0.9점, 3.2점이라는데 — 이 숫자들에 오차막대를 붙이면 어떻게 될까. 그 전에, 애초에 모델 평가 점수라는 게 얼마나 흔들리는 물건인지부터 보자.

— 독파모 평가 해부 ② / 다음 글: 평가는 실험이다 — 그런데 이 실험엔 표준오차가 없다

독파모 평가 해부 ① — 70.6, 69.9, 69.0, 65.8: 이 표를 먼저 검증했다

2026년 8월, 정부가 독자 AI 파운데이션 모델 사업(독파모) 2차 단계평가 성적을 전부 공개했다. 네 팀이 100점 만점으로 채점됐고, 최하위 한 팀이 탈락했다. 이 시리즈는 그 평가를 해부한다. 결론부터 말하면 배점표를 만든 규칙에 심각한 문제가 있다고 주장할 것이다. 그래서 더더욱, 비판을 시작하기 전에 정부의 산수부터 검산했다.

먼저 이 시리즈 전체의 출처 한계를 밝힌다. 수치는 과기정통부·NIPA 발표와 이를 인용한 보도, 그리고 korea.kr 정책브리핑 원문에서 가져왔다. 평가에 쓰인 문항, 채점 원자료, 환산식은 공개되지 않았으므로 일부는 필자가 역산했고, 그런 값은 전부 필자 계산으로 표기한다.

공개된 점수표

팀AAII
(25)
NIA 벤치
(15)
전문가
(35)
전문사용자
(15)
일반국민
(10)
총점
SK텔레콤8.813.429.311.67.570.6
업스테이지9.413.329.110.87.369.9
LG AI연구원7.812.829.511.37.669.0
모티프11.912.727.18.45.765.8

검산 결과부터. 네 팀 모두 다섯 항목의 합이 총점과 소수점까지 정확히 일치한다(8.8+13.4+29.3+11.6+7.5 = 70.6, 나머지 세 팀도 동일). 별도로 발표된 파생 수치들 — 벤치마크 평균 22.5점, 벤치마크 1~4위 격차 4.0점, 사용자 평가 격차 5.0점 — 도 이 표에서 전부 재현된다. 산수는 맞다. 이 시리즈의 논지는 "숫자가 틀렸다"가 아니다. "숫자를 만든 규칙이 틀렸다"다.

표에서 바로 보이는 사실 하나를 짚고 가자. 과기정통부 발표 기준으로 모티프는 벤치마크 소계(AAII+NIA) 1위(24.6/40)이면서 종합 4위로 탈락했다. 벤치마크에서 이기고 사람 평가에서 진 것이다. 이게 정당한 결과인지 아닌지는 아직 판단하지 않는다 — 시리즈가 끝날 때까지 판단을 미뤄 달라. 다만 이 구도가 이 시리즈 전체의 출발점이다.

공개되지 않은 환산식을 역산했다

AAII는 Artificial Analysis Intelligence Index라는 외부 지수다(⑦편에서 해부한다). 이 지수의 원점수를 25점 만점으로 어떻게 바꿨는지, 즉 환산식은 공개되지 않았다. 그래서 역산해 봤다. 평가 시점의 AA 리더보드 원점수를 x라 하고 각 팀의 AAII 항목 점수와 비교하면:

팀 / 모델AA 원점수÷4발표 점수잔차
모티프 34711.7511.9+0.06 이내
Solar Open 2 (업스테이지)37+9.359.4+0.06 이내
A.X K2 (SKT)358.758.8+0.06 이내
K-EXAONE 2.0 (LG)317.757.8+0.06 이내

(필자 계산. AA 원점수는 2026-08 시점 리더보드 값.)

환산식은 "AA 원점수 ÷ 4"다. 네 팀의 잔차가 전부 0.06점 이내이고 부호까지 같다(0.1 단위 올림으로 설명된다). 이보다 잘 맞는 다른 가설은 찾지 못했다 — 예컨대 "세계 최고 모델 대비 정규화" 가설을 대입하면 모티프가 18.8점이 나와야 하는데 실제는 11.9점이다.

이 역산은 부수적으로 흥미로운 사실 하나를 확정한다. 업스테이지가 평가받은 모델은 Solar Pro 4가 아니라 Solar Open 2다. Solar Pro 4의 AA 점수를 4로 나누면 발표 점수와 17배 큰 잔차가 생긴다. Solar Open 2만 맞는다. 언론 보도 다수가 이 구분 없이 썼는데, 두 모델은 다른 모델이다(Solar Open 2는 총 250B/활성 15B의 오픈웨이트 MoE이고, Solar Pro 4는 파라미터가 공식적으로 미공개다).

÷4라는 환산이 무엇을 의미하는지는 잠깐 멈춰서 볼 가치가 있다. AAII를 100점 만점 척도로 취급했다는 뜻인데, 평가 시점 세계 최고 모델의 AAII가 63점이다. 즉 25점 만점 중 15.75점 위로는 지구상 어떤 모델도 도달할 수 없었다. 이 설계가 결과를 바꿨는지는 뒤에서 따로 계산한다(미리 말하면: 바꾸지 않았다 — 그래서 더 흥미롭다).

이 평가에 걸려 있던 것

이건 리더보드 순위 놀이가 아니었다. 2차 평가를 통과한 세 팀은 하반기 B200 약 1,000장 규모의 GPU를 배정받고, 탈락한 모티프는 받지 못한다. 1차에서는 다섯 팀 중 네이버클라우드와 NC AI가 탈락했다. 국가가 종합점수로 줄을 세워 하위 팀의 자원을 끊는 토너먼트 구조이고, ⑨편에서 보겠지만 이 구조를 쓰는 나라를 다른 곳에서는 찾지 못했다.

그리고 탈락한 모티프는 2026-08-27 공식 이의를 제기했고, 이의 결과와 무관하게 3차에 불참하겠다고 밝혔다. 정부의 공식 답변은 이 글을 쓰는 시점(2026-08-31)까지 공개되지 않았다.

이 시리즈가 하려는 것

미리 선을 그어 둔다. 이 시리즈는 "잘못된 팀이 탈락했다"고 주장하지 않는다. 그건 필자가 알 수 없는 일이다. 이 시리즈가 주장할 것은 다음이다 — 이 평가는 결과가 옳았는지 아무도 확인할 수 없게 설계됐고, 그 설계 결함들은 하나하나 지목할 수 있으며, 고치는 비용은 놀랄 만큼 싸다. 그리고 마지막 두 편에서는 비판을 넘어, 우리 회사가(그리고 다음 국가 사업이) 그대로 쓸 수 있는 평가 프로토콜과 원화 가격표를 내놓는다.

왜 이걸 파는가. 필자도 LLM을 만들고 있고, 언젠가 누군가의 평가표 위에 올라갈 것이기 때문이다. 남의 평가를 해부해 보는 것이 내 평가 기준을 세우는 가장 빠른 길이다.

다음 질문은 이것이다 — 이 100점 중에서, 실제로 순위를 가른 점수는 몇 점이었을까. 배점표에 적힌 숫자와 실제로 작동한 숫자는 다르다.

— 독파모 평가 해부 ① / 다음 글: 100점 중 15점은 아무 일도 하지 않았다

대학원생의 투고 지도 ④ (완결) — 논문의 수준이란 무엇인가: 사다리와 사분위, 첫 논문 전략

완결편이다. "논문 수준"이라는 말을 해부하고, 에듀테크 석사생의 첫 논문 전략으로 마친다. 학위논문과 학술지 논문은 다른 장르다 먼저 가장 흔한 혼동부터. 학위논문(thesis)은 "내가 연구를 수행할 줄 안다...