The fact.

2026년 9월 1일 화요일

벤치마크는 실력을 재는가 ⑧ (완결) — 그래서 우리 회사는 무엇으로 판단하는가: CTO의 판단 절차

①편의 문장으로 돌아가자 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 일곱 편에 걸친 심사 결과를 집계한다.

판결문

읽는 법	판정	근거
"체급 스크리닝은 벤치마크로 한다"	참	점수들의 단일 축이 분산 80~97%를 설명, 컴퓨트와 R²>0.9 (⑤)
"회귀 게이트·역사적 눈금으로 쓴다"	참	1% 컴퓨트로 2%p 예측, 2020년부터의 연속 눈금 (③⑤)
"같은 체급 안의 서열을 가린다"	거짓	상단 밀집 3.1%p < 오류율 6.49%, 겉상관 91.3% vs 실질 26.1% (②③⑤)
"제품 품질을 보증한다"	거짓	GDPval 역전, 71.2% vs 1.96%, pass^1 vs pass^8, GPT-4o 사고 (⑥)
"한국어 실력을 판단한다 (MMLU·Belebele로)"	거짓	MMLU 문화 문항의 86.5%가 서구 지식, Belebele은 영어 시험의 번역본 (③④)
"오래 유효하다"	거짓	최근 벤치마크 수명 1~2년, 능력은 7개월마다 배증 (⑦)

한 줄 판결: 조건부 참. "체급·회귀·눈금"으로 읽으면 참이고, "서열·품질·한국어"로 읽으면 거짓이다. 그리고 저 문장은 대개 후자의 뜻으로 쓰인다.

한국 진단 한 단락

한국의 관행적 위험은 두 가지다. 수명이 끝난 포맷의 이식(원판 포화 원년에 한국판 출시, 번역 벤치마크 의존)과 수명 설계의 부재(LogicKor의 1년). 다행히 다음 세대는 이미 있다 — 원전 제작(KoBALT·HAE-RAE), 수명주기 내장(KAIO의 80%-교체 정책), 실무 과업 기반(Ko-GDPval). KMMLU를 쓸 거라면 오류를 정정한 Redux/Pro를 쓰는 것이 낫다(원판의 결함과 라이선스 문제는 독파모 ⑧편 참조).

우리 회사의 판단 절차 — 7단계

이 시리즈의 실무 결론이다. 필자 회사(LLM을 만들고 쓰는 입장이므로 이해관계가 있음을 밝힌다)의 평가 파이프라인에 그대로 반영하는 절차다.

공개 벤치마크는 체급 스크리닝까지만. 후보군을 추릴 때 쓰되, 신뢰구간이 겹치는 모델은 동급으로 처리한다. 1~3%p 차이로 순위를 매기지 않는다(1,000문항의 탐지 한계가 3%p다).
오염을 확인하고 본다. 후보 모델의 학습 컷오프와 벤치마크 공개일의 선후를 확인하고, 중요한 결정이면 TS-Guessing류 검사를 직접 돌린다(기법은 독파모 ⑪편).
최종 판단은 자사 태스크 홀드아웃으로. GDPval의 원형을 빌린다 — 우리 서비스의 실제 과업으로 비공개 평가셋을 만들고, 주기적으로 교체한다. 구축 비용은 300문항 기준 수백만 원(독파모 ⑫편의 가격표).
단발이 아니라 반복으로 잰다. pass^k(k회 연속 성공)를 기본 지표로. 데모 성공률 61.2%가 프로덕션에선 25% 미만이 되는 간극이 우리 서비스에도 있다.
사람 평가는 스타일을 통제하고. 길이·서식을 맞춘 블라인드 비교로, 그리고 전문가의 "느낌이 이상하다"를 기각하지 않는 절차로. GPT-4o 사고의 교훈이다.
점수 옆에 단위 있는 지표를. 시간지평(어느 길이의 과제까지 믿고 맡길 수 있나), 과제당 비용, p95 지연. 점수는 갈아 끼워도 이 축들은 추세선이 이어진다.
쓰는 벤치마크의 라이선스와 수명을 확인한다. ND/NC 라이선스는 상업적 보고를 제약하고, 어떤 시험이든 1~2년 뒤에는 죽는다 — "우리 회사의 KPI 벤치마크는 언제 죽는가"를 분기마다 묻는다.

마치며 — 시리즈의 투명성 마감

이 시리즈에서 확인하지 못해 쓰지 않은 것들을 남긴다: MMLU와 아레나 Elo의 공식 상관계수(발표된 것이 없다), Belebele의 독파모 벤치마크 포함 여부(데이터셋 단위 목록 미공개), 프런티어 랩들의 내부 Belebele 사용 여부(공개 보고의 부재가 사용의 부재를 증명하지 않는다). 그리고 이번 시리즈를 쓰며 발견한 필자의 이전 오류 하나(보기 순서 스윙 27.1 → 27.0)는 해당 글을 수정하고 ③편에 고지했다.

마지막 문장은 이렇게 쓰고 싶다. "진짜 실력은 벤치마크로 판단합니다"라는 문장의 가장 큰 문제는 틀렸다는 게 아니라, 판단을 끝내준다는 착각을 준다는 것이다. 벤치마크는 판단의 시작이다 — 체급을 확인했으면, 이제 우리 일을 시켜 보고, 반복시켜 보고, 사람에게 블라인드로 보여주고, 가격표를 붙여야 한다. 그 나머지 절차 전부가 "판단"이라는 단어의 실제 내용이다.

— 벤치마크는 실력을 재는가 ⑧ (완결) / 관련 시리즈: 독파모 평가 해부(평가 설계·통계), 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용)

벤치마크는 실력을 재는가 ⑦ — 모든 시험지는 죽는다: 수명주기와 심리측정학 100년

2024년 10월, 한국어 생성 평가 리더보드 LogicKor가 이런 공지와 함께 문을 닫았다 — "상위권 모델에 대한 변별력이 거의 없어졌습니다"(독파모 ⑧편에서 인용했던 그 공지다). 한국만의 일이 아니다. 이건 모든 벤치마크의 운명이고, 이번 편은 그 부고들의 연대기다.

부고 연대기 — 수명은 줄어들고 있다

시험지	출시	사망 판정	수명
GLUE	2018	인간 기준선(87.1) 추월	약 1년
SuperGLUE	2019	DeBERTa 90.3 > 인간 89.8	약 1.7년
MMLU	2020	인간 전문가선 돌파(2023-12), 상단 밀집	약 3.5년*
BIG-Bench-Hard	2022	후속 논문이 "사실상 만점" 판정	약 2년
GPQA Diamond	2023	상위 24개 모델이 90%+ (2026)	약 2년
SWE-bench Verified	2024	최고 97.0%, 7개 모델 95%+ (2026-08)	약 2년

(*MMLU의 3.5년은 예외처럼 보이지만, 출시 시점 최강 모델이 43.9%였던 — 시대를 앞서 나온 — 시험이라서다. 제3자 집계는 vals.ai·llm-stats 2026-09 조회 기준.)

패턴이 보인다. 최근 세대는 난이도와 무관하게 1~2년 안에 죽는다. "박사급도 어렵다"던 GPQA도, "실제 저장소 이슈"라던 SWE-bench Verified도 2년이었다. 이유는 단순하다 — 뒤에서 볼 METR 측정으로 모델 능력이 약 7개월마다 배증하는데, 시험지는 고정돼 있다.

사인은 세 가지, 그리고 겉으로는 구분이 안 된다

능력 성장 — 정직한 죽음. 모델이 정말 강해져서 시험이 쉬워진 경우.
오염 — 공개된 순간부터 부패가 시작된다. 학습 컷오프 전후 벤치마크 점수를 비교한 자연실험이 이 효과를 실증했고, GSM1k의 −8%p가 그 크기의 실측이다.
굿하트 최적화 — 시험이 목표가 되는 순간(⑥편). 27개 비공개 변종, +112% 같은 숫자들.

문제는 리더보드 점수만 봐서는 셋을 구분할 수 없다는 것이다. 점수 상승이 실력인지 유출인지 적응인지 — 신작 홀드아웃 문항과 대조하기 전까지는 알 수 없다.

"인간 수준 돌파"의 속사정

부고 기사의 단골 표현 "인간 수준 돌파"에는 확인할 것이 하나 있다 — 그 인간이 누구였는가. GLUE의 인간 기준선 87.1은 예시 20개를 보고 투입된 크라우드워커였다. GPQA의 인간 기준선 74%는 해당 분야 박사였다. 같은 "human-level"이라는 말이 완전히 다른 두 사건을 가리킨다. 그리고 그 박사조차 추월된 지금(GPQA 90%+), 그 시험은 여전히 어떤 국가 평가의 구성 지수 안에 들어 있다 — 독파모가 25점을 위탁한 AAII의 6%가 GPQA Diamond다.

살아남는 것들의 설계

죽음에 대응하는 설계는 네 계열이고, 각자 대가를 치른다: 더 어렵게(HLE·FrontierMath — 그래도 죽는다, 연장일 뿐), 매달 새로(LiveBench — 시계열 비교를 잃는다), 비공개로(SEAL류 — 운영자 신뢰를 요구한다), 실제 과업으로(SWE-bench·GDPval — 고정하는 순간 또 죽는다). 그중 눈에 띄는 둘:

ARC-AGI — 품위 있게 늙는 법. 5년을 버틴 예외적 시험인데, 비결은 불사가 아니라 계획된 세대교체다(v1 → v2 → v3). 그리고 점수 옆에 가격표를 붙인다 — o3가 v1에서 75.7%를 얻는 데 과제당 수십 달러, 고연산 설정의 87.5%에는 자릿수가 다른 비용이 들었고, v2에서는 사람이 과제당 $17로 푸는 문제를 모델은 $200을 쓰고도 못 푸는 구간이 존재한다. 점수만 보면 안 보이는 격차가 비용축에서 드러난다.
METR 시간지평 — 점수가 아니라 단위가 있는 지표. "모델이 50% 확률로 완수하는 과제의 (인간 기준) 소요 시간"을 재고, 이 지평이 약 7개월마다 2배가 된다는 추세를 발표한다. GPT-5 기준 50% 지평 2시간 17분(신뢰구간 65분~4시간 25분). 그런데 같은 모델의 80% 성공 지평은 약 25분(신뢰구간 8~65분) — 5.5배 간극이다. 데모가 되는 것과 믿고 맡기는 것 사이의 거리를, 이 지표는 정의상 담고 있다. 시험지를 갈아 끼워도 추세선이 이어진다는 게 결정적 장점이다.

측정학은 이미 답의 골격을 갖고 있다

이 모든 것이 새 문제 같지만, 시험의 죽음을 제도화한 학문이 이미 100년째 있다 — 교육측정학이다. 문항은행과 노출 관리(같은 문항을 계속 쓰지 않는다), 동등화(다른 시험지의 점수를 같은 눈금으로 잇는다), 재규준(기준 집단을 주기적으로 갱신한다). 수능과 토플이 매년 새 문제로도 연도 간 비교가 가능한 이유가 전부 여기 있다. 그리고 Campbell은 1979년에 이미 썼다 — 정량 지표가 의사결정의 목표가 될수록, 그 지표는 부패하고 지표가 재려던 과정도 왜곡된다. 굿하트는 AI 문제가 아니라 측정의 보편 법칙이다.

한국 함의는 아프다. 원판이 포화된 해에 한국판을 들여오는 패턴(MMLU 2020 → KMMLU 2024, 그리고 1년 만의 Redux/Pro 개정), 1년 만에 변별력을 잃은 LogicKor. 반가운 예외도 생겼다 — 최근의 한국 벤치마크 KAIO는 "80% 도달 시 공개하고 교체한다"는 수명주기를 설계에 내장했다. 시험지의 죽음을 전제하는 첫 한국 시험지다.

이제 재료가 다 모였다. 마지막 편 — ①편의 문장으로 돌아가 판결문을 쓰고, 우리 회사의 판단 절차 7단계를 확정한다.

— 벤치마크는 실력을 재는가 ⑦ / 다음 글: 그래서 우리 회사는 무엇으로 판단하는가 (완결)

벤치마크는 실력을 재는가 ⑥ — 그런데 왜 배신당하는가: 잔차의 세계와 굿하트

⑤편의 결론은 "벤치마크는 체급을 잘 잰다"였다. 이번 편은 그 반대면 — 점수가 효용을 배신하는 지점들의 실증이다. 패턴은 세 가지다: 실무는 잔차에 살고, 형식이 갈라놓고, 최적화가 상관을 죽인다.

배신 ① 실무 산출물에서 순위가 뒤집힌다

먼저 용어 정리 하나. 이름이 비슷한 세 가지가 있다 — GDPval(OpenAI의 실제 직무 과제 평가), GDPval-AA v2(Artificial Analysis가 운영하는 별도 Elo 버전, AAII의 20% 구성요소), Ko-GDPval(업스테이지의 자체 한국어판, 비공개). 여기서 말하는 건 첫 번째다.

GDPval은 44개 직군의 실제 직무 산출물(보고서, 스프레드시트, 슬라이드 등)을 전문가가 블라인드 비교하는 평가다. 결과 — 학술 벤치마크 다수에서 앞서던 GPT-5가 승률+무승부 39.0%, Claude Opus 4.1이 47.6%로 순위가 뒤집혔다. 전문가들이 본 것은 지식의 양이 아니라 산출물의 완성도 — 서식, 지시 준수, 실제로 제출 가능한 물건인지 — 였다. (아직 n=1 평가라는 한계는 명시해 둔다.)

코딩에서는 격차가 더 극적이다. 같은 Claude 2가 HumanEval 71.2%, SWE-bench 1.96%였다. 함수 하나 짜기와 실제 저장소에서 이슈 해결하기는 36배 차이 나는 다른 과제다. 에이전트 과제(τ-bench)에서는 또 다른 축이 갈라진다 — GPT-4o가 1회 시도 성공률 61.2%, 8회 연속 성공률(pass^8)은 25% 미만. 데모 성공률과 프로덕션 신뢰성은 다른 지표다(서강대 수능 평가의 24.6%p 격차와 같은 구조 — 독파모 ⑧편).

배신 ② 사람 선호도 벤치마크를 배신한다

사람 선호(아레나) 쪽 편향은 독파모 ⑤편에서 다뤘다 — 길이 계수 0.249가 서식 효과의 8~13배라는 것. 이번에 추가할 것은 그 효과의 크기다: 스타일을 통제하자 GPT-4o-mini가 6위→11위로, 다른 모델이 6위→18위로 이동했다. 지식 벤치마크와 선호 벤치마크는 서로 다른 실력을 재고, 그 간극에 문체가 산다.

배신 ③ 최적화가 시작되면 상관은 죽는다

⑤편의 상관 구조는 아무도 그 벤치마크를 목표로 삼지 않았을 때의 이야기다. 목표가 되는 순간:

아레나 데이터로 파인튜닝하면 ArenaHard 승률이 23.5% → 42.7% → 49.9%로 상대 +112% 뛴다. 같은 기간 MMLU는 66.5 → 64.4 → 65.9 — 제자리다(변동폭이 노이즈 안). 아레나 실력이 늘어난 게 아니라 아레나 적응이 늘어난 것이고, 상관은 그 지점에서 끊어진다.
Llama 4의 아레나 제출 변형 논란(공개판과 다른, 대화 최적화 변형으로 순위 획득)은 이 메커니즘의 실전 사례다.
GSM1k(기존 수학 벤치와 같은 난이도의 신작 문항)에서 일부 모델은 최대 8%p 떨어졌고, 하락 폭은 암기 지표와 상관(r²=0.36)했다.

가장 비싼 사고 — "오프라인 평가는 좋아 보였다"

2025년 4월, OpenAI는 GPT-4o 업데이트를 롤백하며 사후 분석을 공개했다. 요지는 이렇다 — 오프라인 평가들은 대체로 좋아 보였고, A/B 테스트는 사용자들이 좋아한다고 나타났다. 일부 전문가 테스터가 "뭔가 이상하다(felt off)"고 했지만 정량 신호가 우선됐다. 배포 결과는 과도한 아첨으로 인한 대규모 반발과 롤백이었다.

이 사건이 이 시리즈에서 중요한 이유: 벤치마크와 A/B라는 두 정량 관문을 모두 통과한 배포가 실패했고, 그걸 미리 잡은 유일한 신호는 전문가의 직관이었다. "정량 평가가 좋으면 배포한다"는 규칙의 반례가, 가장 평가를 잘한다는 조직에서 나왔다. 교훈은 정량 평가를 버리라는 게 아니라 — 전문가의 "느낌이 이상하다"를 데이터로 취급하라는 것이다.

이 편의 판결

⑤편과 이번 편을 합치면 시리즈의 중심 문장이 완성된다.

"벤치마크는 체급을 재고, 제품 품질은 잔차에 산다.
그리고 벤치마크가 목표가 되는 순간, 체급과의 상관마저 죽는다."

실무 규칙으로 번역하면 — 1~3%p 차이는 버려라(1,000문항의 탐지 한계가 3%p다, 독파모 ③편). 배수 차이는 믿어라(1.96% vs 70%대는 진짜다). 그리고 목표로 삼는 순간 그 지표는 계기판이기를 멈춘다.

남은 질문은 시간축이다. 좋은 벤치마크를 골라도, 그 벤치마크는 얼마나 오래 좋은 채로 남아 있는가. 다음 편 — 모든 시험지는 죽는다. 문제는 죽는지가 아니라, 얼마 만에 어떤 사인으로 죽는지다.

— 벤치마크는 실력을 재는가 ⑥ / 다음 글: 모든 시험지는 죽는다 — 수명주기와 심리측정학 100년

벤치마크는 실력을 재는가 ⑤ — 점수들은 함께 움직인다: 벤치마크가 실제로 재는 것

여기까지 읽었다면 "벤치마크는 전부 엉터리"라는 결론으로 기울었을 것이다. 이번 편은 그 결론을 막는 편이다. 벤치마크 무용론에는 나쁜 소식이 있다 — 점수들은 저차원으로, 놀랍도록 함께 움직인다.

LLM에도 g가 있다

서로 다른 벤치마크 점수들을 모아 주성분 분석을 돌리면 이런 그림이 나온다.

공개 모델 수백 개의 벤치마크 점수에서 제1주성분(PC-1)이 분산의 약 80%를, 상위 3개 주성분이 약 97%를 설명한다(관찰적 스케일링 법칙 연구).
리더보드 모델 1,232개를 분석한 별도 연구에서는 단일 일반 요인(g)이 성능 분산의 85%를 설명했다.
HELM 데이터의 요인 분석에서도 소수 요인이 대부분을 설명한다는 같은 구조가 나온다.

심리측정학에서 인간 지능 검사들이 서로 상관을 보이며 일반 지능 g를 정의했던 것과 같은 구조다. 그리고 이 축은 허공에 뜬 게 아니다 — PC-1과 학습 컴퓨트(log FLOPs)의 결정계수가 R² > 0.9다. 벤치마크들이 공통으로 재고 있는 그 무언가는 상당 부분 모델의 체급(컴퓨트가 만든 일반 능력)이다.

이 축은 예측력도 있다

"체급을 잰다"는 말이 공허하지 않은 이유는 실제 예측이 되기 때문이다.

AI2의 모델 사다리 연구는 타깃 컴퓨트의 1%만 쓰고 7B/13B 모델의 태스크 정확도를 절대오차 2%p 이내로 예측했다(친칠라 시리즈 ⑫편에서 다룬 그 결과다).
관찰적 스케일링 연구는 약한 모델들의 기본 벤치마크 점수만으로 더 강한 모델의 에이전트 성능을 홀드아웃 예측하는 데 성공했다.

즉 — "진짜 실력은 벤치마크로 판단한다"를 "모델의 체급은 벤치마크로 판단한다"로 읽으면, 그 문장은 참이다. 7B와 프런티어를 구분하고, 후보 30개를 5개로 추리고, 새 체크포인트의 퇴행을 잡는 데 벤치마크는 실제로 작동한다. 이 시리즈의 첫 절반이 보여준 모든 결함에도 불구하고 그렇다.

그런데 상관에는 두 가지 함정이 있다

함정 1 — 겉상관과 실질 변별은 다르다. LMSYS 자신의 분석에서 MT-Bench는 아레나 순위와 스피어만 상관 91.3%를 보였다. 훌륭해 보인다. 그런데 같은 분석에서 신뢰구간을 고려한 일치율은 26.1%였다. 상관은 "대체로 같은 방향"이라는 뜻이지 "이 모델 쌍의 우열을 맞힌다"는 뜻이 아니다. 순위표 전체의 기울기와 인접한 두 모델의 비교는 완전히 다른 문제다(독파모 시리즈 ⑤편의 분리도 개념이 바로 이것이다).

함정 2 — 상관 수치는 모델 집합에 의존한다. 7B부터 프런티어까지 섞어 놓으면 무엇이든 상관이 높게 나온다 — 체급 차이가 다 쓸어담기 때문이다. 같은 체급끼리 좁혀서 다시 재면 상관은 크게 약해진다. "벤치마크 간 상관 0.9"라는 숫자를 볼 때는 어떤 모델들을 섞어서 잰 상관인지부터 확인해야 한다.

중간 판결

4심급(①오염 ②형식 ③포화 ④상관) 중 ④의 전반부 판결은 이렇다.

벤치마크는 체급을 잰다 — 잘 잰다. 점수들은 컴퓨트에 묶인 단일 축으로 거의 다 설명되고, 그 축은 외삽 예측까지 된다.
따라서 트리거 문장을 스크리닝과 회귀 게이트로 읽으면 참이다.
그러나 같은 체급 안의 서열 판정은 상관이 보증하지 않는다 — 겉상관 91.3%가 실질 일치 26.1%로 무너지는 지점이 정확히 거기다.

그렇다면 남는 질문은 하나다. 체급이 같은 모델들 사이에서, 혹은 체급으로 설명되지 않는 영역에서 — 점수와 실제 효용은 왜, 어디서, 얼마나 갈라지는가. 다음 편은 그 갈라짐의 실증이다. 예고편: 학술 벤치마크에서 앞서던 모델이 실제 직무 산출물 평가에서 뒤집힌 사건, 같은 모델의 코딩 점수가 71.2%와 1.96%로 동시에 존재하는 사건.

— 벤치마크는 실력을 재는가 ⑤ / 다음 글: 그런데 왜 배신당하는가 — 잔차의 세계와 굿하트

벤치마크는 실력을 재는가 ④ — 벨레벨레라는 시험을 아십니까: Belebele 해부

MMLU는 다들 안다. 그런데 함께 인용되는 Belebele(벨레벨레)이 무엇인지 아는 사람은 의외로 드물다. 검색해 보면 한국 웹에는 이 시험에 대한 해설이 사실상 없다(한글 표기로 검색하면 축구선수가 나온다). 그래서 실물을 열어 본다.

시험지 실물

Belebele은 Meta가 2023년 공개한 다국어 독해 시험이다(arXiv 2308.16884, ACL 2024). 구조는 이렇다.

FLORES-200 코퍼스에서 가져온 지문 488개에, 지문당 1~2개씩 총 900문항의 4지선다.
같은 900문항이 122개 언어 변형(구별 언어로는 115개)으로 존재한다 — 완전 병렬 109,800행. 한국어는 kor_Hang.
정답은 항상 지문 안에 있다. 생성 능력, 추론 깊이, 문화 지식, 긴 문맥은 전부 시험 범위 밖이다. 짧은 지문을 읽고 답을 찾는 능력, 그게 전부다.

제작 품질 관리는 성실했다 — 5라운드 반복 제작에 최종 라운드에서 약 20%를 폐기했고, 정답 분포 검정과 편향 베이스라인 점검까지 했다. 시험지 자체는 잘 만든 물건이다. 문제는 그다음이다.

출생의 비밀 — 문항은 전부 영어로 태어났다

Belebele의 900문항은 전부 영어로 작성된 뒤 번역업체(LSP)가 121개 언어로 옮긴 것이다. 지문 역시 FLORES-200 — 영어 위주 원문을 전문 번역한 코퍼스다. 논문 스스로 한계 절에 translationese(번역투)와 FLORES 원문의 번역 오류를 명시했다.

이게 무슨 뜻인가. Belebele 한국어판은 한국어 시험이 아니라, 영어 시험의 한국어 번역본이다. 이 시험의 한국어 점수가 재는 것은 "번역된 위키 문체의 한국어를 읽고 번역된 질문에 답하는 능력"이지, 실제 한국어 사용자가 쓰는 언어 — 조사·존대·생략·한자어 층위 — 의 처리 능력이 아니다. ③편에서 본 Global-MMLU의 발견("번역해도 미국 시험지")과 정확히 같은 구조다.

점수의 역사 — 그리고 사라진 보고

시점	모델	영어	한국어
2023 (논문)	GPT-3.5	87.7	71.8
2023 (논문)	Llama-2-70B	90.9	72.9
2024	EXAONE 3.0 7.8B	—	78.6
2025	Gemma-2-9b-it	93.3	—
(참고)	사람	97.6	—

2023년의 "어려운 시험"이 2년 만에 9B짜리 오픈 모델도 93점을 넘는 시험이 됐다. 고자원 언어에서는 포화다. 저자원 언어에서만 변별력이 남아 있는데, 그건 정확히 Meta가 이 시험을 만든 목적이다 — 프런티어의 실력 서열이 아니라 저자원 언어 커버리지 측정.

채택 계보도 시사적이다. 필자가 국내외 주요 테크리포트를 확인한 범위에서, Belebele을 보고한 국내 모델은 EXAONE 3.0(한국어 서브셋에서 당시 1위)과 DNA 1.0 둘이었고, EXAONE 3.5부터는 LG 자신도 이 시험을 표에서 뺐다. 국내 관행은 KMMLU·HAE-RAE·CLIcK·KoBALT — 한국어로 태어난 시험들 — 로 이동을 마쳤다. 해외 프런티어 리포트(Gemini·Gemma·Aya 등)에서도 2023년 이후 Belebele 보고를 찾지 못했다. 확인 못 한 것이 없다는 증명은 아니지만, 적어도 공개 보고 관행에서 이 시험이 사라진 것은 분명하다.

도구에는 죄가 없다

오해를 막기 위해: Belebele은 나쁜 벤치마크가 아니다. 122개 언어에 완전히 동일한 내용의 시험지를 제공하는 유일한 자원이고, 저자원 언어를 다루는 팀에게는 지금도 대체재가 없다. 스와힐리어와 한국어와 영어의 독해력을 같은 문항으로 비교할 수 있는 건 이 시험뿐이다.

문제는 인용 방식이다. "진짜 실력은 Belebele로 판단합니다"는 도구의 사용설명서를 거꾸로 읽은 문장이다. 저자원 언어 커버리지 스크리닝용으로 만들어진, 영어에서 번역된, 고자원 언어에서는 포화됐고, 제작사 진영조차 더 이상 보고하지 않는 독해 시험이다. 이걸로 2026년 한국어 모델의 "진짜 실력"을 판단한다는 것은 — 시험지의 어느 속성과도 맞지 않는다.

여기까지가 두 시험지의 해부다. 이제 시리즈의 후반부, 더 일반적인 질문으로 간다 — 벤치마크 점수라는 것이 도대체 무엇을 재고 있으며, 그 점수는 실제 효용을 얼마나 예측하는가. 다음 편은 벤치마크 무용론자들에게 나쁜 소식부터 전한다: 점수들은 놀랍도록 함께 움직인다.

— 벤치마크는 실력을 재는가 ④ / 다음 글: 점수들은 함께 움직인다 — 벤치마크가 실제로 재는 것

벤치마크는 실력을 재는가 ③ — 질문을 안 보여줘도 맞히는 시험: MMLU 해부 (하)

②편에서 시험지의 결함(출처·오류·오염)을 봤다. 이번 편은 더 근본적인 층위다 — 문항이 전부 완벽해도 남는 4지선다라는 형식의 문제, 그리고 눈금이 다 차버린 자라는 문제.

질문을 안 보여줘도 맞히는 시험

이런 실험이 있다(Balepur 외). 모델에게 질문을 아예 보여주지 않고 보기 4개만 제시한 뒤 "정답"을 고르게 한다. 상식적으로는 25% 근처가 나와야 한다. 결과는 — 모델·데이터셋 12개 조합 중 11개에서 무작위를 유의하게 초과했다. 보기들의 문체, 길이, 구체성 같은 표면 단서만으로 정답이 새고 있다는 뜻이다. 4지선다 점수에는 지식만이 아니라 시험 요령이 섞여 든다.

형식 민감도의 다른 증거들은 독파모 시리즈 ③편에서 다뤘으므로 요점만 갱신한다.

정답 위치만 이동시켜도 llama-30B의 MMLU가 41.2%~68.2%, 27.0점 움직인다(Zheng 외, 0-shot). — 정정 고지: 독파모 ③편에 27.1로 적었던 값이다. 원표 재확인 결과 68.2−41.2 = 27.0이 맞아 해당 글도 수정했다.
이와 별개로 보기 내용을 뒤섞는 실험(Gupta 외)에서는 falcon-40B-instruct가 −27.2%p 하락했다. 숫자가 비슷해 자주 혼용되는데 다른 논문의 다른 조작이다.
사소한 형식 변경만으로 리더보드 순위가 최대 8계단 이동한 보고도 있다(Alzahrani 외).
그리고 같은 지식을 서술형으로 묻면 4지선다 점수와의 상관이 낮다. 고르는 능력과 생성하는 능력은 다른 능력이다 — 실제 서비스에서 모델이 하는 일은 후자다.

눈금이 다 찼다 — 포화 연표

시점	모델	MMLU
—	무작위 찍기	25.0
2020	GPT-3	43.9
2022	Chinchilla	67.6
2023	GPT-4	86.4
2023-12	Gemini Ultra	90.04 — 인간 전문가선(89.8) 첫 돌파
현재	상위 15개 모델	89.4~92.5에 밀집 (폭 3.1%p)

(Chinchilla는 본문 표 평균 67.6, 초록 표기 67.5. Gemini Ultra 90.04는 CoT@32 조건이며 5-shot은 83.7 — 측정 조건이 다른 값을 한 표에 넣는 위험은 독파모 ③편에서 다룬 그대로다.)

상위 15개가 3.1%p 안에 몰려 있고, ②편에서 봤듯 시험지 오류율이 6.49%다. 상단에서 이 시험은 2024년에 변별력을 잃었다. 업계의 대응은 시험지 교체다:

MMLU-Pro — 보기를 4개에서 10개로 늘리고 추론형 문항을 보강. 기존 문항 5,886개를 "너무 쉬움"으로 폐기했고, 같은 모델들의 점수가 평균 16%p 하락했다.
MMLU-Redux — 오류 문항 정정판(②편).
Global-MMLU(Cohere) — 문화 의존성 감사판. MMLU의 28%가 문화 지식 문항이고, 그중 86.5%가 서구, 서구 중 73.9%가 미국 특정 지식임을 밝혔다. 번역해도 미국 시험지라는 뜻이다. 한국어로 기계번역한 MMLU가 한국어 실력 평가가 될 수 없는 구조적 이유다.
HLE(Humanity's Last Exam) — "다음 MMLU"를 표방한 고난도 시험. 현재 최고 기록 38.3%(Gemini 3 Pro, lastexam.ai 2026-09 조회) — 아직 눈금이 남은 몇 안 되는 자다.

공정한 결론 — MMLU를 버리라는 말이 아니다

MMLU는 여전히 쓸모가 있다. 단, 용도가 정해져 있다.

용도	판정
경량·중형 모델의 체급 구분	○ (아직 변별됨)
자사 모델 배포 전 회귀 테스트	○ (싸고 빠름)
2020년부터의 역사적 추세선	○ (유일한 연속 눈금)
프런티어 모델 간 서열 판정	× (포화 + 오류율 > 간격)
한국어 실력 예측	× (미국 중심 + 번역 무효)

"진짜 실력은 MMLU로 판단한다"는 주장의 1차 판결은 이렇다 — 이 시험지가 재는 것은 '2023년 수준까지의, 영어권 중심의, 4지선다 지식 회상'이다. 어떤 실력을(지식 회상만), 누구의 실력을(상단은 포화), 어느 언어의 실력을(미국 영어) 특정하지 않으면 저 문장은 성립하지 않는다.

그럼 함께 인용된 다른 시험지는 어떤가. 다음 편 — 벨레벨레라는 시험을 아십니까. MMLU는 다들 알지만, 함께 인용되는 이 시험의 실물을 열어 본 사람은 의외로 드물다.

— 벤치마크는 실력을 재는가 ③ / 다음 글: 벨레벨레라는 시험을 아십니까 — Belebele 해부

벤치마크는 실력을 재는가 ② — 이 시험지, 대학원생이 인터넷에서 긁어왔습니다: MMLU 해부 (상)

세계에서 가장 많이 인용되는 AI 시험지의 출생부터 확인하자. MMLU 논문(Hendrycks 외, 2020)에는 문항의 출처가 이렇게 적혀 있다 — 문항들은 대학원생과 학부생들이 "온라인에서 무료로 구할 수 있는 출처에서 수작업으로 수집"했으며, 출처에는 "GRE나 USMLE 같은 시험의 연습문제"가 포함된다. 총 15,908문항, 그중 테스트셋 14,042문항(논문 본문 표기는 14,079 — 공개 배포본 기준 14,042), 57개 과목.

즉 MMLU는 자체 출제된 시험이 아니다. 인터넷에 이미 있던 문제들의 모음집이다. 2020년에는 이게 문제가 아니었다 — 당시 최강 모델 GPT-3가 43.9%밖에 못 맞혔고, 제작 목적 자체가 "모델의 약점 지도 그리기"였다. 문제는 그다음에 벌어진 일이다. 이후의 모든 대형 모델이 바로 그 인터넷을 통째로 학습했다.

시험지 안에 무엇이 들어 있나 — 6.49%는 오류다

2024년, 연구자들이 MMLU 문항을 재검수했다(MMLU-Redux, 57개 과목 전수에서 5,700문항 재주석). 결과:

전체 문항의 6.49%가 오류 — 정답 표기가 틀렸거나, 문제가 성립하지 않거나, 보기가 잘못됐다.
과목별 편차가 크다. 최악은 바이러스학(Virology)으로 오류율 57%다. 절반 넘게 틀린 시험지로 바이러스학 실력을 채점해 온 것이다.
오류 문항을 제거하고 다시 채점하면 리더보드 16위 모델이 1위가 되는 사례가 보고됐다.

이 오류율이 왜 치명적인지는 현재 리더보드와 겹쳐 보면 안다. 프런티어 상위 15개 모델의 MMLU 점수 폭이 약 3%p다(③편). 순위를 가르는 간격이 시험지 오류율의 절반이다. 상단 순위는 실력 차이가 아니라 어느 오류 문항에 어떻게 걸렸는지의 함수일 수 있다.

오염 — 사고가 아니라 구조

보통 벤치마크 오염은 "테스트셋이 실수로 학습 데이터에 섞이는" 사고로 이야기된다. MMLU는 다르다. 문항이 공개 웹에서 수집됐으므로, 웹을 크롤링해 학습하는 모든 모델에게 이 시험은 태생적으로 오픈북이다. 사고가 아니라 구조다.

증거는 세 겹이다.

출처 자체. 위에서 본 대로 — 문항의 원산지가 학습 코퍼스의 원산지와 같다.
제작사의 자기 고백. GPT-4 테크니컬 리포트는 자체 n-gram 오염 검사를 돌려 겹침 문항을 제외한 재채점 결과를 병기했고, BIG-bench는 오염 때문에 아예 보고에서 제외했다.
가장 직접적인 실험 — TS-Guessing. 문항에서 오답 보기 하나를 가리고 모델에게 그 빈칸을 채우게 한다. 실력으로는 맞힐 이유가 없는 과제다 — 오답은 출제자가 임의로 지은 것이니까. 그런데 GPT-4는 가려진 오답 보기를 57% 확률로 정확히 복원했다. 문제를 푸는 게 아니라 시험지를 기억하고 있다는 정황이다.

공정하게 덧붙일 것: 이 증거들은 "모든 모델이 MMLU를 통째로 외웠다"를 뜻하지 않는다. 오염 검출 연구들(Oren 외 등)은 모델·문항에 따라 오염 신호가 없는 경우도 많이 보고한다. 정확한 서술은 이것이다 — MMLU는 오염을 배제할 수 없게 설계된 시험이고, 오염의 크기는 모델마다 다르며, 외부에서 그걸 분리해낼 방법이 마땅치 않다. "몇 점이 실력이고 몇 점이 기억인지 알 수 없다"는 것 자체가 계측기로서의 결격 사유다.

그래서 1차 정리

여기까지가 시험지 자체의 결함이다 — 출처가 공개 웹이라 오염이 구조적이고, 문항의 6.49%가 오류이며, 그 오류율이 상단 순위 간격보다 크다. "진짜 실력은 MMLU로 판단합니다"라는 문장은 이 시점에서 이미 한 번 꺾인다.

그런데 아직 절반이다. 문항이 전부 정확하고 오염이 전혀 없다고 가정해도 남는 문제가 있다 — 4지선다라는 형식 그 자체. 다음 편의 첫 실험은 이것이다: 모델에게 질문을 보여주지 않고 보기 4개만 보여줬더니, 어떤 일이 벌어졌는가.

— 벤치마크는 실력을 재는가 ② / 다음 글: 질문을 안 보여줘도 맞히는 시험 — MMLU 해부 (하)

벤치마크는 실력을 재는가 ① — "진짜 실력은 벤치마크로 판단합니다", 좋다, 그 문장을 검증하자

업계에서 통용되는 문장이 하나 있다 — "진짜 실력은 벤치마크(MMLU, Belebele)로 판단합니다." 이 문장을 쓴 사람이 누구든 중요하지 않다. 중요한 건 이 문장이 검증 가능한 주장이라는 것이다. 그래서 이 시리즈는 그 검증을 한다 — 두 시험지의 실물을 열어 보고, 점수가 실제 효용을 얼마나 예측하는지의 실증을 모으고, 마지막에 판결문을 쓴다.

먼저, 이 문장이 참이 되는 조건

반박부터 시작하면 공정하지 않다. 이 문장을 최대한 강하게 읽어 보자. 벤치마크로 실력을 판단하는 것이 옳은 경우가 실제로 세 가지 있다.

체급 스크리닝. 후보 모델 30개 중에서 우리 용도에 근접한 5개를 고르는 단계에서는 벤치마크만 한 도구가 없다. 7B급과 프런티어급은 벤치마크로 확실히 구분된다.
회귀 게이트. 우리 모델의 새 체크포인트가 이전보다 나빠지지 않았는지 확인하는 자동 검사로는 벤치마크가 유일한 현실적 수단이다.
역사적 눈금. 2020년의 GPT-3와 2026년의 모델을 같은 자로 비교할 수 있는 것은 그 자를 계속 유지했기 때문이다.

이 세 용도라면 저 문장은 참이다. 문제는 저 문장이 보통 그렇게 쓰이지 않는다는 것이다. 실제로는 "A 모델이 B 모델보다 벤치마크 몇 점 높으니 더 좋은 모델이다" — 서열 판정과 품질 보증에 쓰인다. 그 용법이 성립하는지가 이 시리즈의 질문이다.

두 시험지의 한 줄 정체

주장에 인용된 두 시험지가 무엇인지부터. 자세한 해부는 다음 편들에서 하고, 여기서는 한 줄씩만.

MMLU — 2020년 공개. 57개 과목, 테스트셋 14,042문항의 4지선다 지식 시험. 문항은 학생들이 공개 웹의 연습문제(GRE·USMLE 등)에서 수집했다.
Belebele(벨레벨레) — 2023년 Meta 공개. 지문 488개에 900문항을 전부 영어로 작성한 뒤 122개 언어 변형으로 번역한 4지선다 독해 시험. 한국어판은 한국어 시험이 아니라 영어 시험의 한국어 번역본이다.

이 한 줄들만으로도 질문이 생기기 시작할 것이다. 공개 웹에서 긁어온 문제로, 웹을 통째로 학습한 모델을 시험하면 무엇이 측정되는가? 영어로 태어난 독해 문제의 번역본으로 한국어 실력을 판단할 수 있는가?

판정 기준 — 네 개의 심급

이 시리즈는 두 시험지와 그 사용법을 네 가지 기준으로 심사한다.

심급	질문	다루는 편
① 오염	시험지를 미리 본 응시자를 걸러낼 수 있는가	②
② 형식	4지선다라는 형식이 실력 외의 무엇을 재는가	③
③ 포화	눈금이 아직 남아 있는가	③·④·⑦
④ 상관	점수가 실제 효용을 예측하는가	⑤·⑥

그리고 마지막 ⑧편에서 판결과 함께, 우리 회사가(그리고 여러분 회사가) 실제로 쓸 수 있는 판단 절차 7단계를 내놓는다.

전작과의 관계

이 블로그의 독파모 평가 해부 시리즈에서 측정 과학의 일반론 — 오차막대와 문항 수(③편), 오염 감사 기법(⑪편), 리더보드 게이밍(⑥편) — 은 이미 다뤘다. 이번 시리즈는 그 도구를 전제로 하되 반복하지 않고, 시험지 자체의 해부와 점수-효용 상관의 실증이라는 새 영역을 판다. 겹치는 대목은 포인터로만 처리한다.

결론을 아주 짧게 예고하면 이렇다 — 벤치마크는 체급을 잰다. 그건 실제로 잘 잰다. 그러나 "진짜 실력"이라 부를 만한 것의 상당 부분은 벤치마크 점수의 잔차에 산다. 이 두 문장이 어떻게 동시에 참인지가 이 시리즈의 내용이다.

시작은 시험지의 출생부터다. MMLU의 14,042문항은 어디서 왔는가 — 논문에 적혀 있는 답이 이 시리즈에서 가장 놀라운 사실일지도 모른다.

— 벤치마크는 실력을 재는가 ① / 다음 글: 이 시험지, 대학원생이 인터넷에서 긁어왔습니다 — MMLU 해부 (상)

2026년 8월 31일 월요일

독파모 평가 해부 ⑫ (완결) — 청구서: 방어 가능한 평가는 첫해 2,580만 원이다

마지막 편이다. 열한 편의 비판을 한 장의 설계도로 바꾼다. 우리 회사(그리고 어느 회사든)가 그대로 실행할 수 있는 평가 프로토콜과 그 원화 가격표다. 환율 1,380원/USD, 전부 가정을 명시한 필자 계산이며, 국내 어노테이션 업체들이 문항당 단가를 공개하지 않아 인건비는 공개 크라우드 플랫폼 단가와 최저임금 기준으로 유도했다.

10단계 프로토콜과 가격

단계	내용	비용
1. 사전등록	⑪편의 8줄 + SHA-256 해시 공개	0원 + 8시간
2. 공개 벤치 기준선	하네스 버전 고정, 프로토콜 명시 실행	GPU 소액
3. 자체 골든셋 1,000문항	과제 유형·난이도 층화, 60~95% 정답률 구간 설계, 3분할	약 1,850만 원
4. 오염 감사	13-gram·캐너리·동형 신작 격차	수십만 원
5. LLM 판정자 검증	인간 라벨 대비 일치도 측정 후 채택	약 76만 원
6. 사람 평가	전문가 3인 × 300문항, 블라인드·IRR 보고	약 416만 원
7. CI 회귀 평가	체크포인트마다 자동 실행·드리프트 추적	월 약 32만 원
8. 비용·지연 축	₩/1M 토큰, p95 지연을 점수와 병기	계측만
9. 보고 표준	18항목 체크리스트(아래)	0원
10. 분기 갱신	신작 문항 보충, Sealed 셋 개봉 감사	분기 약 110만 원
합계: 초기 구축 약 1,757만 원(8주) / 첫해 총 약 2,580만 원 / 2년차부터 연 약 825만 원		최소판 약 320만 원

최소판(사전등록 + 크라우드 검수 300문항 + 판정자 검증 + 체크리스트)이 약 320만 원 + 월 10만 원이다. 5인 스타트업도 할 수 있는 가격이고, 국가는 말할 것도 없다. 독파모가 학습데이터 개방 항목 하나에 쓴 예산이 150억 원이다 — 방어 가능한 평가 체계는 그 0.2%다. 이 시리즈의 모든 문제는 돈이 없어서 생긴 게 아니다.

운용 규칙 세 개 — 숫자로

문항 수가 곧 발언권이다. 300문항으로는 약 10%p, 1,000문항으로는 약 3%p 차이까지만 말할 수 있다(80% 검정력 기준). 300문항 평가로 "0.7점 개선"을 주장하는 보고서는 그 문장에서 무효가 된다. 반대로, 판별 못 하는 차이는 "동점"이라고 쓰는 것이 정확한 보고다.
LLM 판정자는 채용 면접을 통과해야 한다. 사람 라벨과의 일치도가 사람끼리의 일치도 이상임을 먼저 증명하고 쓴다(문헌 기준: 판정자-인간 85% vs 인간-인간 81%). 위치 편향이 있으므로 A/B 순서를 바꿔 두 번 묻는 것은 타협 불가 — 1,000판정에 중급 모델 기준 약 3천 원이다. 아낄 이유가 없다.
비용 없는 리더보드는 의사결정 도구가 아니다. 모든 표는 정확도 ± 95% CI, ₩/1M 토큰, p95 지연을 함께 싣는다. 궁극의 한 줄 지표는 "정답 1건당 원가"다.

평가 보고서 체크리스트

모든 평가 보고서 말미에 붙일 항목들: 모델 버전·커밋 / 하네스 이름·버전 / 프롬프트 템플릿 전문 / 샷 수 / 문항 수 n / 반복 횟수·시드 / 온도 등 디코딩 설정 / 95% 신뢰구간 / 검정 방식과 보정 / 슬라이스별 분해 / 골든셋 버전 해시 / 오염 감사 결과 / 판정자 모델·버전 / 판정자-인간 일치도 / 사람 평가 IRR / 비용·지연 / 평가 일자 / 사전등록 링크.

굵게 표시한 세 줄 — 오염 감사, 판정자 일치도, 사전등록 링크 — 이 남들 보고서에 없는 것들이고, 이 세 줄이 있는 보고서는 그 자체로 신뢰의 증표가 된다.

다음 국가 평가 공고문에 들어가야 할 것

이 시리즈의 발견을 공고문 언어로 바꾸면 이렇게 된다. ①배점·환산식·프로토콜의 사전 공개와 해시 봉인(⑪) ②모든 점수에 문항 수·반복 횟수·신뢰구간 병기(③④) ③사람 평가의 블라인딩·루브릭·IRR 공개(⑤) ④홀드아웃·신작 문항·캐너리에 의한 오염 방지, 회차 간 문항 재사용 금지(⑥⑪) ⑤외부 지수 사용 시 버전 고정·기록(⑦) ⑥한국어 능력의 제3자 측정 — 독립 리더보드 재건(⑧) ⑦상대 컷 대신 절대 기준선, 탈락 대신 사전 선언 목표 대비 평가(⑨) ⑧평가자 독립성·이해관계 공표·명문화된 이의절차(⑩). 여덟 항목 전부 선례가 있거나 이 시리즈에서 가격이 계산됐다.

마치며

이 시리즈는 정부가 틀린 팀을 잘랐다고 주장하지 않았다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장했다. 검산 가능했던 것은 전부 검산했고 — 산수는 맞았다, 순위는 가중치 변경에 견고했다, 사용자 격차는 실재했다 — 확인 불가능했던 것들의 목록을 남겼다: 전문가 채점의 산포, 문항 수, 측정 프로토콜, 환산식의 확정 시점, 블라인딩 여부, 이의절차의 존재.

확인할 수 있게 만드는 비용은 첫해 2,580만 원, 시니어 개발자 연봉의 4분의 1이다. 그중 가장 효과가 큰 장치 — 결과를 보기 전에 규칙을 써서 해시로 봉인하는 것 — 는 0원이다.

그리고 이건 남의 이야기가 아니다. 필자의 회사도 모델을 만들고, 우리 모델도 언젠가 누군가의 표 위에 오른다. 그때 우리가 요구할 수 있으려면 우리부터 이 기준으로 재고 있어야 한다. 이 시리즈의 프로토콜은 오늘부터 우리 평가 파이프라인의 사양서다. 남의 숫자를 믿지 말고, 우리 숫자는 남이 믿을 수 있게 만들자.

— 독파모 평가 해부 ⑫ (완결) / 관련 시리즈: 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용), RAG 종류 총정리

독파모 평가 해부 ⑪ — 결과를 보기 전에 숫자를 쓴다: 사전등록과 오염 방지

비판은 ⑩편으로 끝났다. 여기서부터는 설계도다. 그리고 첫 번째 부품은 이 시리즈 전체에서 비용 대비 효과가 가장 높은 장치인데, 가격이 0원이다. 결과를 보기 전에 규칙을 쓰고, 그것을 고칠 수 없게 봉인하는 것 — 사전등록(pre-registration)이다.

왜 이게 핵심인가

임상시험은 수십 년 전에 이 문제를 겪었다. 결과를 본 뒤에 평가 기준을 고르면, 고르는 사람이 악의가 없어도 결론이 오염된다 — 지표가 여러 개면 그중 하나는 우연히 유리하게 나오기 마련이고, 사람은 그걸 "원래 중요했던 지표"로 기억한다. 해법은 단순했다. 시험 전에 주 지표와 판정 규칙을 등록하고, 등록과 다른 분석은 "탐색적"이라고 표시한다.

AI 평가에도 같은 장치가 2026년 현재 실증돼 있다. 하나는 평가 프로토콜 문서의 SHA-256 해시를 미리 공개해 두는 방식 — 나중에 프로토콜을 슬쩍 바꾸면 해시가 달라져 들통난다. 다른 하나는 더 우아하다. "아직 나오지 않은 다음 모델"에 대해 평가를 등록하는 것 — 등록 시점에 존재하지 않는 모델에는 유리한 기준을 고를 수가 없다. 이 방식이 기준 선택을 통한 결과 왜곡을 실험에서 73.9% 차단했다.

독파모에 대입해 보라. 배점(25/15/35/15/10)이 언제 확정됐고 참가자에게 언제 공지됐는지, AAII÷4 환산이 결과를 보기 전에 정해진 것인지 — 공개된 자료로는 알 수 없다. 사후에 정해졌다고 주장하는 게 아니다. 사전에 정해졌음을 증명할 수단을 만들지 않았다는 것이고, 해시 공개 한 줄이면 그 증명이 공짜였다는 것이다. 실제로 벤치마크 비중 조정이 "검토 중"이라는 발표가 결과 공개 직후에 나왔는데, 사전등록 체계가 있었다면 이런 발표 자체가 "다음 회차 규칙의 사전 공지"라는 정상적인 형태를 가졌을 것이다.

사전등록 문서에 들어갈 8줄

의사결정 규칙 — 숫자로. "총점 X점 미만이면 탈락" 또는 "주 지표에서 기준선 대비 유의한 개선이면 채택".
주 지표 단 하나. 나머지는 전부 보조 지표로 명시.
가중치 — 그리고 그 가중치의 근거 한 줄씩.
평가셋 버전 — 골든셋 파일 해시, 분할 방식, 서브샘플 ID까지.
판정 방법 — 사람이면 루브릭·평가자 수·일치도 하한, LLM 판정자면 모델 버전·프롬프트·검증 결과(⑫편).
표본 크기와 검정력 — "이 문항 수로는 몇 %p까지 판별 가능"을 스스로 명시.
통계 검정 계획 — 검정 방식, 다중비교 보정, 유의수준.
중단·예외 규칙 — 어떤 경우에 평가를 무효로 하는가.

이 문서를 쓰고 해시를 공개하는 데 드는 비용: 0원 + 약 8시간. 인건비로 쳐도 수십만 원이다. 효과: 평가 결과에 대한 거의 모든 종류의 사후 시비 차단.

오염 방지 — 3분할과 감사 4종

⑥편에서 봤듯 생존이 걸린 반복 평가에서 오염 방지는 전제 조건이다. 실무 설계는 이렇다.

평가셋 3분할.

Public 30% — 공개. 참가자가 형식을 파악하고 이의를 제기할 수 있게. 오염되는 것을 전제로 운영한다.
Internal 50% — 비공개, 회차마다 사용. 점수의 주력.
Sealed 20% — 암호화 보관, 분기 1회만 개봉. Internal 점수와 Sealed 점수의 격차가 벌어지면 Internal이 오염됐다는 신호다.

오염 감사 4종. ①공개 코퍼스와의 13-gram 중복 스캔 ②멤버십 추론(Min-K% Prob) ③캐너리 문자열 — 평가셋에 고유 GUID를 심어 두고 모델이 그것을 완성하는지 검사(BIG-bench가 이 방식의 원조다) ④동형 신작 문항과의 격차 측정 — 기존 문항과 같은 난이도로 새로 만든 문항에서 점수가 뚝 떨어지면 그 격차가 곧 오염의 크기다(GSM1k 방식, 유명 모델들에서 실측 최대 8%p).

그리고 가장 중요한 것 하나. 오염 방지의 90%는 기술이 아니라 권한 분리다. 골든셋 저장소를 학습 파이프라인의 서비스 계정이 읽을 수 없게 하라. 평가 담당자와 학습 담당자를 분리하라. 골든셋을 어떤 외부 SaaS에도 올리지 마라(프롬프트 로깅이 곧 유출이다). 이건 국가 사업이든 5인 스타트업이든 똑같이 적용된다.

한국어 평가셋의 오염 저항 — 선택지는 넷뿐이다

⑧편의 재료들을 오염 관점에서 다시 정리하면, 구조적으로 오염을 막는 한국어 평가 설계는 네 가지다.

방식	사례	대가
연 1회 최신 기출만 사용	최신 수능·자격시험 회차	연 1회만 갱신 가능
전문가 신작	KoBALT(웹과의 trigram 중복 0.7%)	문항당 제작비
절차적 생성 + 시드 재생성	NOLLI 방식	만들 수 있는 과제 유형 제한
완전 비공개 홀드아웃	SEAL, 사우디 BALSAM	외부 재현 불가 — 운영자 신뢰 필요

넷 다 장단이 있고, 그래서 실무 답은 조합이다 — 공개 셋으로 투명성을, 신작·절차 생성으로 주력 측정을, 봉인 셋으로 오염 감시를. 국가 벤치마크가 이 구조를 갖추면 ⑥편의 "탈락제가 오염을 보상한다" 문제가 실제로 풀린다.

마지막 편이 남았다. 지금까지의 모든 부품 — 오차막대, 사람 평가 설계, 판정자 검증, 사전등록, 오염 방지 — 를 하나의 프로토콜로 조립하고, 원화 가격표를 붙인다. 미리 말하면, 총액은 시니어 개발자 연봉의 4분의 1이다.

— 독파모 평가 해부 ⑪ / 다음 글: 청구서 — 방어 가능한 평가 체계는 첫해 2,580만 원이다

독파모 평가 해부 ⑩ — 누가 재는가: 평가자 독립성은 이미 법 조문으로 있다

지금까지의 문제들 — 오차막대 없음, 프로토콜 미공개, 자기 채점 — 을 관통하는 근본 질문은 하나다. 누가 재는가, 그리고 재는 사람은 누구로부터 독립적인가. 좋은 소식은, 이 질문에 대한 답을 한국이 발명할 필요가 없다는 것이다. 이미 법 조문과 정부 표준 문서로 존재한다. 번역해서 공고문에 붙이면 된다.

이미 문장으로 존재하는 것들

EU AI Act 제68조 — AI 평가를 담당하는 과학 패널은 "AI 시스템 또는 범용 AI 모델의 어떠한 제공자로부터도 독립적"이어야 하고, 위원 각자가 이해관계 신고서를 공표한다. 조문으로만 있는 게 아니다 — 2026년 6월 독립 전문가 60인이 임기 2년으로 실제 임명됐다.
미국 NIST AI 600-1 (MS-1.3-003) — "구조화된 인간 피드백 훈련을 수행하는 자가 동일 모델의 개발 업무에 직접 관여하지 않았음을 검증하라." AI RMF MEASURE 1.3 — "일선 개발자가 아닌 내부 전문가 및/또는 독립 평가자가 참여한다."
EU 범용 AI 실천규약 부속서 3 — 한국이 필요한 목록이 한 문서에 다 있다: 통계적 유의성과 검정력 보고, 학습-평가 데이터 분리, 캐너리 문자열, 게이밍(샌드배깅) 방지, 다회 반복 실행, 블라인딩, 평가자 간 일치도, 독립 외부 평가자(예외는 20영업일 공개 모집이 실패했을 때뿐), 평가 연구자에 대한 법적 안전항구, 그리고 결과 발표를 30영업일 넘게 막을 수 없다는 조항까지.

이 문서들이 요구하는 것을 한 줄로 줄이면 — 평가자는 개발자와 분리되고, 이해관계는 공표되고, 방법은 공개되고, 결과 발표는 막을 수 없다.

한국 구조에 대입하면

독파모의 평가 체계는 NIA가 벤치마크를 만들고, NIPA가 사업 관리와 이의 심의를 하며, 둘 다 과기정통부 산하다. 분명히 해 두는데, 이것이 부정이 있었다는 뜻이 아니다. 지적은 정확히 이것이다 — 위 세 문서가 요구하는 종류의 분리 장치(평가자의 독립성 요건, 이해관계 신고·공표, 자금 집행 주체와 평가 주체의 분리)에 대응하는 규정이 이 사업에 있는지 공개된 자료로 확인되지 않는다. 규정이 있는데 공개만 안 됐다면 공개하면 되고, 없다면 위 조문을 번역해 넣으면 된다. 어느 쪽이든 다음 회차 공고문에서 해결 가능한 문제다.

전문가 10명(④편)의 명단과 이해관계도 같은 문제다. 익명 유지에는 이유가 있을 수 있다 — 로비 차단. 그렇다면 EU 방식이 답이다. 명단은 공개하되 개별 채점은 익명으로. 신원과 이해관계 신고는 공표하고, 누가 어느 팀에 몇 점을 줬는지는 봉인하는 것. 로비도 막고 검증도 가능하다.

이의절차 — 국제 표준형이 있다

모티프의 이의제기는 이 글을 쓰는 시점까지 공개된 답변이 없고, 애초에 이 사업에 정의된 이의절차가 있었는지도 확인되지 않는다. 참고할 표준형은 EU 연구 예산(Horizon)의 평가 재검토 절차다 — 30일 이내 제기, 분량 제한, 그리고 중요한 두 가지: 재검토 범위는 절차적 하자에 한정하고("평가의 실질 판단"은 대상이 아님), 대신 재평가가 결정되면 이전 평가에 관여하지 않은 평가자가 다시 평가한다.

이 설계가 좋은 이유는 양쪽을 보호하기 때문이다. 탈락 팀에게는 절차를 다툴 길을 주고, 평가자에게는 "점수가 마음에 안 든다"는 무한 재심 요구를 차단해 준다. 한국에 필요한 건 네 줄이다 — ①절차의 존재 ②기한 ③범위 ④재평가 시 평가자 교체.

흥미로운 사실 — 아무도 안 한 것이 남아 있다

정확히 하자. 위의 조문들은 전부 규제·안전 평가용이다. 이 시리즈가 다루는 상황 — 예산 배분을 위한 역량 평가 — 에 대해서는, 조사한 7개 관할권 어디에도 ①사전등록 의무 ②이의절차 ③이해상충 규정의 완결된 세트가 없다. 일본이 목표 사전선언으로 절반쯤 갔고(⑨편), 나머지는 공백이다.

즉 한국은 두 가지를 할 수 있다. 평가자 독립성은 베끼면 되고, 자금 배분 평가의 사전등록·이의절차는 세계 최초로 만들면 된다. "글로벌 격차 몇 점 축소"보다 이쪽이 훨씬 확실하게 잡을 수 있는 세계 1위다. 그리고 진지하게 — AI 평가 체계의 신뢰성은 앞으로 모든 나라가 필요로 하게 될 수출품이다.

이 편의 규칙 — 우리 회사용

모델을 만든 사람이 그 모델의 평가를 소유하면 안 된다. 작은 조직이라도 평가 담당과 학습 담당은 분리하고, 최소한 골든셋 접근 권한을 나눠라(⑪편에서 구체화).
외부에 점수를 낼 때는 이해관계를 먼저 적어라. "우리가 만든 벤치마크에서 우리 모델이 1위"라는 표에는 그 문장이 있어야 한다.
평가에 불복 절차를 미리 정의하라. 사내 모델 채택 결정도 마찬가지다 — 절차 없는 결정은 결과가 옳아도 신뢰를 잃는다.

이제 비판은 끝났다. 남은 두 편은 설계도다. 다음 편은 이 시리즈에서 비용 대비 효과가 가장 높은 장치 — 0원짜리 — 에서 시작한다. 결과를 보기 전에 규칙을 쓰는 것.

— 독파모 평가 해부 ⑩ / 다음 글: 결과를 보기 전에 숫자를 쓴다 — 사전등록과 오염 방지

독파모 평가 해부 ⑨ — 탈락시키는 나라는 없었다: 7개 관할권 비교

"여러 팀에 국가 자원을 주고, 라운드마다 종합점수로 줄 세워 하위 팀을 자르고, 살아남은 팀에 GPU를 몰아준다." 독파모의 구조다. 이 구조를 다른 나라에서 찾아봤다 — 일본, EU, 영국, 미국, 싱가포르, 사우디, 그리고 상금 대회까지. 찾지 못했다. 이번 편은 그 비교다. (해외 사업의 예산 규모는 공식 출처 확인이 안 되는 값이 많아 이 글에서는 다루지 않는다.)

일본 GENIAC — 가장 가까운 비교 대상, 정반대의 선택

일본의 GENIAC은 독파모와 가장 비슷한 사업이다 — 정부가 여러 팀에 컴퓨트를 지원해 자국 파운데이션 모델을 만들게 한다. 그런데 운영이 정반대다.

탈락시키지 않는다. 팀 수가 10 → 21 → 24로 늘었다. 기수마다 새로 공모하고 재응모를 허용한다. 4기는 아예 "영역 특화 모델 개발"로 사업 성격을 바꿨다.
1기에는 공정성을 명시하며 held-out 평가셋을 구축했고(외부 평가 플랫폼과 협업), 최하위 모델은 순위로 깎는 대신 왜 낮았는지를 주석으로 달아 공개했다.
2~3기는 공통 리더보드를 버리고 "사전 선언한 목표 대비 실적"으로 전환했다. 각 팀이 개발 목적, 채택 벤치마크, 목표 수치를 미리 선언하고 실적을 보고한다 — 사실상의 사전등록이다. 그리고 미달을 그대로 공개한다: 한 팀은 영상 품질 지표 목표 545 대비 실적 804(낮을수록 좋음), 다른 팀은 목표 8.60 대비 7.88 — 전부 "미달" 표기로 공표됐고, 그래도 사업에서 잘리지 않았다.
평가에 쓴 데이터셋을 GitHub/HuggingFace에 공개해 공공재로 남긴다.
지원이 취소된 유일한 사례는 성능이 아니라 신청서 허위 기재였다 — 근거 규정 조항과 반환액(약 1억 엔)까지 공표했고 영문으로도 냈다.

요약하면 일본은 "평가는 학습 신호, 퇴출은 부정행위에만"이라는 원칙으로 운영한다. 독파모는 평가를 퇴출 장치로 쓴다 — ⑥편에서 봤듯 그 구조는 오염을 유인한다.

절대 기준 vs 상대 컷 — EuroHPC의 선택

EU의 컴퓨트 배분(EuroHPC)은 심사를 하되 상대 순위가 아니라 절대 기준선을 쓴다 — 항목당 5점 만점에 3점, 합계 15점에 10점을 넘으면 자격이 있다. 경쟁자가 몇 점이든 내가 기준을 넘으면 된다. 그리고 배정받은 자원을 회수하는 사유는 "성능 미달"이 아니라 "배정받고 안 쓴 것"이다. 이의신청은 15일 이내 제기, 1개월 내 회신으로 절차가 명문화돼 있다. 상대 컷은 팀들을 서로의 적으로 만들고, 절대 기준은 팀들을 기준의 경쟁자로 만든다. 어느 쪽이 벤치마크 게이밍을 덜 유인하는지는 자명하다.

탈락제를 정말 쓴 곳이 하나 있다 — 그리고 그 대가

공정하게, 점수로 탈락시킨 사례를 하나 찾았다. 미국 DARPA의 AI 사이버보안 챌린지(AIxCC)는 42팀을 7팀으로 잘랐다. 그런데 조건이 다르다.

이건 국가 역량 육성 사업이 아니라 상금 대회다.
채점식을 39쪽 규격서로 사전 공개했다 — 정확도 승수의 수식(AM = 1−(1−r)⁴)까지.
팀별 원점수를 공개했고, 채점 오류가 발견되자 정오표를 내고 점수를 수정했다(70→63).
결과물 전원 오픈소스화를 의무화했다.

즉 탈락제를 쓰려면 이만큼의 투명성이 전제라는 게 유일한 선례의 교훈이다. 그리고 하나 더 — 그렇게까지 했는데도 후속 연구는 7개 우승 시스템이 "원래 팀 밖에서는 사실상 사용 불가"였다고 보고했다. 대회 최적화의 산물은 대회 밖에서 잘 작동하지 않는다. 탈락 토너먼트가 만드는 모델이 산업 현장에서 쓸 모델과 같으리라는 가정 자체를 의심해야 한다.

이해상충 — "없다"가 아니라 "보이게 한다"

다른 나라라고 이해관계가 깨끗한 게 아니다. 일본 심사위원 명단에는 산업 당사자가 들어 있고, 사별 교부액·컴퓨트는 일본도 공개하지 않는다. 싱가포르는 같은 기관이 자국 모델(SEA-LION)과 그 모델이 1위인 리더보드(SEA-HELM)를 함께 운영한다. 사우디의 국가 평가 플랫폼 BALSAM은 저자 일부가 피평가 팀과 겹친다.

차이는 공개 여부다. 사우디 BALSAM은 유일하게 확인된 블라인드 홀드아웃 국가 평가 플랫폼인데, 그 위에서 자국 대표 모델이 4위라는 결과를 그대로 공개한다(GPT 계열과 중국 모델 두 개 아래). 싱가포르 SEA-HELM은 ③편에서 봤듯 8회 반복 + 부트스트랩 + 95% 신뢰구간으로 전환했다. "이해상충이 없다"가 아니라 "이해상충과 불리한 결과가 보인다"가 이들 시스템의 방어선이다.

비교표

프로그램	점수 탈락	사전 공개된 채점 규칙	홀드아웃	오차막대	명문화된 이의절차
일본 GENIAC	✗ (팀 증가)	목표 사전선언	1기 ○	✗	—
EuroHPC	✗ (절대 기준)	○ (3/5·10/15)	—	—	○ (15일/1개월)
사우디 BALSAM	✗	○	○ 블라인드	—	—
싱가포르 SEA-HELM	✗	○	부분	○ 8회+CI	—
DARPA AIxCC (상금 대회)	○ (42→7)	○ 39쪽 규격+정오표	○	—	○
독파모	○ (5+1→3)	배점만 공개	미공개	✗	확인 안 됨

독파모는 가장 강한 조치(탈락)를 쓰면서 가장 약한 투명성으로 운영되는 유일한 사례다. 탈락제 자체가 절대 악은 아니다 — 그걸 쓴 유일한 곳이 지불한 투명성의 값을 안 냈다는 것이 문제다.

그럼 남은 질문은 사람이다. 누가 재는가, 재는 사람은 누구로부터 독립적인가. 놀랍게도 이 질문의 답은 이미 법 조문으로 존재한다.

— 독파모 평가 해부 ⑨ / 다음 글: 누가 재는가 — 평가자 독립성은 이미 법 조문으로 존재한다

독파모 평가 해부 ⑧ — 한국어 능력을 검증한 제3자가 아무도 없다

사업의 이름은 "독자 AI 파운데이션 모델"이다. 존재 이유가 한국어와 한국 산업이라는 뜻이다. 그런데 이 시리즈를 준비하며 네 팀의 공개된 한국어 벤치마크 점수의 출처를 전수 추적한 결과가 이렇다. 전부 자기가 매긴 점수다.

영어는 제3자가 재고, 한국어는 아무도 안 잰다

영어권 능력은 Artificial Analysis가 네 팀 모델 전부를 같은 조건에서 독립 실행했다(⑦편). 그런데 한국어 벤치마크는 제3자 보고도, 독립 재실행도 0건이다. KMMLU든 자체 제작 벤치마크든, 표에 실린 한국어 숫자는 모두 그 모델을 만든 회사가 스스로 돌려 스스로 보고한 값이다.

독립 검증 인프라가 없어서다. 유일했던 공개 한국어 리더보드들의 현재 상태: Open Ko-LLM Leaderboard는 2024-12-09 이후 RUNTIME_ERROR 상태로 멈춰 있고 — 그마저 운영 주체가 평가 대상 기업인 업스테이지였다 — 국립국어원 말평은 2024-09 이후 정지, 또 다른 리더보드는 접속 자체가 막혀 있다. 2026년 한국에는 작동하는 독립 한국어 LLM 리더보드가 하나도 없다.

그 공백을 각 사가 자체 벤치마크로 메운다. LG는 KMMLU-Redux/Pro와 자체 안전성 벤치마크를(자사 모델 99.8점), 업스테이지는 Ko-GDPval 등 자체 세트를(170과제, 비공개), KT도 자체 세트를 만들었다. 벤치마크 제작 자체는 기여다 — 문제는 그다음이다. 자기가 출제한 시험을 자기가 치르고 자기가 채점한 점수들을, 서로 다른 시험끼리 한 표에 놓고 비교하는 것. 이 표가 지금 한국어 모델 담론의 기본 화폐다.

공용 자라는 것들의 상태

"그럼 공용 벤치마크로 재면 되지 않나"가 다음 질문인데, 그 자들의 상태가 이렇다.

KMMLU — 한국어 대표 벤치마크. 후속 감사(제작진 일부가 참여한 KMMLU-Redux/Pro 논문)가 스스로 밝힌 수치: 테스트셋 결함 문항 7.66%, 내부 중복 5.36%, 학습-테스트 오염 5.46%. 라이선스가 CC-BY-ND라 고친 버전을 만들어 배포할 수도 없다. 그리고 한국 특화 지식을 요구하는 문항은 20.4%뿐 — 나머지는 번역해도 성립하는 일반 지식이다.
포화 — CLIcK는 2024년 최고 48.6%에서 2026년 91.6%가 됐다. 현재 국내 상위 모델 간 변별폭이 HRM8K 2.8%p, KorMedMCQA 7.2%p 수준이다. 생성 평가 LogicKor는 "상위권 모델에 대한 변별력이 거의 없어졌습니다"라는 공지와 함께 공식 아카이브됐다. ②편에서 본 NIA 벤치마크의 99.8~100.0 포화는 이 생태계의 일부다.
반면 아직 변별하는 자도 있다 — 언어학 전문가가 신작한 KoBALT(최고 0.61), 그리고 한국어 웹 에이전트 과제 K-BrowseComp: 해외 프론티어 30~45.7% vs 국내 모델 0.0~10.3%. 격차가 가장 크게 벌어진 축이 정작 국가 평가에는 없다.

같은 자를 모티프에게도

이 시리즈가 모티프 편이라고 읽혔다면 여기서 교정한다. 모티프 3의 기술 리포트 14.6만 자에는 `KMMLU`가 0회, `Korean`이 1회 등장한다. 한국어 벤치마크 점수를 하나도 싣지 않은 것이다. "독자 AI" 사업에서 벤치마크 종합 1위를 한 모델이 정작 한국어 능력의 공개 증거를 제시하지 않았다 — 이 비판은 정부와 모티프 양쪽을 향한다. 사족으로, 모티프의 영어권 자기보고는 16개 중 9개가 AA 독립 측정과 소수점까지 일치할 만큼 정직했다. 정직한 보고와 빠진 보고는 별개의 문제다.

제3자 평가가 한 번 있었다 — 그리고 그 평가도 같은 자로 재야 한다

공개된 유일한 제3자 한국어 계열 평가가 서강대 수학과 연구팀의 수능 수학 평가다(46문항, 모델당 3회 실행). 여기서 나온 발견 하나는 진짜로 중요하다 — 모델의 1회 정답률과 3회 통합(pass@3)의 격차가 키미 K3는 3.6%p인데 모티프 3는 24.6%p였다. 같은 시험을 세 번 쳤을 때의 편차가 모델마다 7배 다르다는 것으로, ③편의 "반복 없는 측정은 무효"를 국내에서 실증한 값이다.

그런데 이 평가를 인용하려면 이 평가의 한계도 전부 같이 인용해야 공정하다: 모티프만 API가 아니라 웹 채팅 UI로 사람이 손으로 측정했고, SKT는 아예 제외됐으며, 업스테이지는 사업에 제출한 모델이 아닌 상용 모델로 평가됐고, 문항은 영어로 번역됐고, 1번 문항은 지수 표기가 손상돼 모델이 "오타 같다"고 지적했는데 오답 처리됐고, 온도·시드는 미공개이고, 동료평가를 거치지 않았다. 한계가 이만큼 열거될 수 있는 것은 연구팀이 방법을 공개했기 때문이다 — 그 점에서 이 평가는 방법을 공개하지 않은 국가 평가보다 과학에 가깝다. 다만 이 결과로 특정 팀의 탈락을 정당화하는 데 쓰면 안 된다.

없는 것을 만드는 길은 이미 보인다

비판만 하고 끝내지 않기 위해, 한국어 평가의 공백을 메울 재료가 이미 학계에 나와 있다는 것을 적어 둔다.

KCSAT-ML — 수능 수학 664문항인데, 그중 339문항에는 수십만 명 응시자의 공식 문항별 오답률이 붙어 있다. 모델이 틀리는 문항이 사람이 어려워한 문항인지까지 잴 수 있다(같은 정답률의 두 모델이 완전히 다른 프로파일을 가질 수 있다).
NOLLI — 시드로 문항을 절차적으로 재생성하는 설계. 오염되면 시드를 바꿔 새 시험지를 뽑는다. 오염 문제의 구조적 해법이다.
그리고 무엇보다 — 죽어 있는 독립 리더보드를 국가가 살리면 된다. 평가 대상이 아닌 기관이, 오차막대와 함께, 홀드아웃 문항으로. 그 설계는 ⑪·⑫편에서 다룬다.

다음 질문. 이 모든 문제 — 탈락제, 자기 채점, 죽은 계측기 — 를 다른 나라는 어떻게 다루고 있을까. 7개 관할권을 확인했고, 결론부터 말하면 종합점수로 팀을 자르는 나라를 찾지 못했다.

— 독파모 평가 해부 ⑧ / 다음 글: 탈락시키는 나라는 없었다 — 7개 관할권 비교

독파모 평가 해부 ⑦ — 25점을 건 계측기를 뚯어봤다: AAII

회사에서 성과급의 25%를 외부 SaaS 대시보드의 숫자 하나에 연동하기로 했다면, 당신은 계약 전에 그 숫자의 계산식을 볼 것이다. 독파모는 100점 중 25점을 Artificial Analysis Intelligence Index(AAII)에 걸었다. 그래서 그 계산식을 뜯어봤다.

이 지수는 무엇을 재는가 — "지능"이 아니라 에이전트 작업 수행

평가 시점의 현행 버전 v4.1.1은 9개 벤치마크, 4개 범주로 구성된다.

범주	구성	비중
에이전트	GDPval-AA v2 20% + τ³-Banking 14%	34%
코딩	Terminal-Bench v2.1 16% + SciCode 8%	24%
과학 추론	HLE 12% + GPQA Diamond 6% + CritPt 6%	24%
일반	AA-Omniscience 12% + AA-LCR 6%	18%

에이전트+코딩이 58%다. 이건 "지능 지수"라기보다 에이전트 워크플로 수행 지수다. 그 자체로 나쁜 게 아니다 — 문제는 이 구성이 "독자 파운데이션 모델"의 국가적 목표(한국어 능력, 산업 활용성)와 어떻게 대응하는지 아무도 설명하지 않은 채 25점이 배정됐다는 것이다. 참고로 한국어 관련 항목은 0%다.

계측기로서의 상태

최대 비중 항목(GDPval-AA v2, 20%)의 반복 횟수는 1회다. Elo 방식이고, 기준 점수는 "모델이 추가된 시점에 동결"된다.
공개 변경이력이 없다. 방법론 페이지에 버전 히스토리 섹션이 없고, 공개 API에는 시계열 조회도 버전 필드도 없다. 그래서 "지수 구성이 바뀔 때 과거 점수가 재계산되는가"라는 기본적인 질문에 외부에서 답할 수 없다. 실제로 AAII 점수를 인용한 논문 두 편이 둘 다 버전 표기 없이 인용했다 — 몇 달 뒤 그 숫자는 재현 불가능해진다.
지수의 약 74%는 외부에서 재현할 수 없다. 문항이 완전 공개된 구성 요소는 HLE(12%) + SciCode(8%) + GPQA Diamond(6%) = 26%뿐이다.

그리고 가장 심각한 것. 구성 요소 하나가 감사 결과 계측기로서 고장나 있었다. 2026-08-05 공개된 SciCode 감사 논문은 65개 문제에서 263건의 결함을 찾았고, 그중 192건이 정답을 오답으로 판정하는 채점기 결함이었으며 주 문제의 91%가 영향을 받았다. 채점을 고치자 정확도가 9~27%에서 69~92%로(+60~83%p) 뛰었다. SciCode는 AAII의 8%다. 그리고 이 논문의 공개일(08-05)은 독파모 평가 기간(08-04~11로 보도됨)과 겹친다. 평가에 쓰인 AAII 값이 수정 전 SciCode를 포함했다면, 국가 평가의 25점 중 일부가 고장난 채점기 위에서 계산된 것이다 — 어느 시점의 값을 썼는지는 공개되지 않았으므로 이건 확인을 요구하는 질문으로 남긴다.

공정하게: AA가 잘하는 것

비판만 하면 절반짜리 글이다. Artificial Analysis는 몇 가지를 업계 누구보다 잘한다.

비용·속도 실측. 하루 8회 측정, 72시간 P50 중앙값 보고. 품질-가격-속도를 한 화면에 놓는 곳은 사실상 여기뿐이고, 이건 진짜 공공재다.
벤더 자기보고에 대한 대항 축. 제조사가 체리피킹한 점수 대신 제3자가 같은 조건으로 돌린 값을 준다. 실제로 모티프의 자기보고 16개 중 9개가 AA 측정치와 소수점까지 일치했다 — AA가 있어서 검증이 가능했던 것이다.
합성 지표에 신뢰구간 추정을 공개하고(±1% 미만 주장), 자체 하네스를 MIT 라이선스로 공개한다.

AA는 좋은 도구다 — 엔지니어의 모델 선택 도구로. 이 시리즈의 주장은 "AA가 나쁘다"가 아니라 "버전 관리도 재현성도 보장되지 않는 외부 상용 지수에 국가 예산 배분의 25%를 거는 것은 용도 오류"라는 것이다.

그리고 한국 모델은 3축 중 1축만 측정됐다

AA의 설계 철학은 지능·가격·속도의 3축 트레이드오프다. 그런데 국산 오픈웨이트 모델의 AA 페이지를 보면 — 모티프 3 기준 — 지능 47, 가격 $0.00, 속도 N/A다. 상용 API가 아니니 가격·속도 축이 비어 있고, 속도 측정 인프라 자체가 미국 GCP 리전 한 곳에서 돌아가므로 국내 서빙과 무관하다. 정부는 3축짜리 도구에서 마침 값이 채워진 1축만 떼어 25점을 매겼다.

덧붙여 ①편의 환산 문제를 다시 보자. AA 원점수 ÷ 4는 AAII를 100점 만점으로 취급한 것인데 세계 최고가 63점이다. ②편에서 확인했듯 이 압축을 고쳐도 순위는 안 바뀐다 — 하지만 "고쳐도 안 바뀐다"는 것을 확인하는 계산조차 정부가 아니라 외부인이 해야 했다는 게 이 시리즈의 반복되는 패턴이다.

이 편의 규칙 — 우리 회사용

외부 지수를 의사결정에 쓰려면 버전을 고정하고 기록하라. "AAII 47점"이 아니라 "AAII v4.1.1, 2026-08-31 조회, 47점".
재현 불가능한 지표에는 상한 비중을 둬라. 우리가 다시 돌려볼 수 없는 숫자에 큰 결정을 걸지 않는다.
합성 지수는 분해해서 봐라. "지능 1점"이 에이전트 과제에서 온 것인지 장문 이해에서 온 것인지에 따라 우리 서비스와의 관련성이 완전히 다르다.

AAII 25점은 그래도 제3자 측정이었다. 다음 편은 더 근본적인 공백이다 — 이 사업의 이름이 '독자 AI'인데, 정작 한국어 능력 점수는 전부 자기가 매긴 것이다.

— 독파모 평가 해부 ⑦ / 다음 글: '한국어 능력'을 검증한 제3자가 아무도 없다

독파모 평가 해부 ⑥ — 부정행위 없이 리더보드를 이기는 법

평가를 이야기할 때 흔히 "부정행위만 막으면 된다"고 생각한다. 이번 편의 요지는 반대다. 규칙을 하나도 어기지 않고 점수를 올리는 방법들이 이미 정량화돼 있고, 탈락제는 바로 그 방법들을 쓰라고 등을 떠민다.

사례 1: 여러 번 응시하고 최고점만 낸다

2025년의 "The Leaderboard Illusion" 연구가 LMArena에서 실증한 것이다. Meta는 Llama 4 출시 전 27개의 비공개 변종을 아레나에서 테스트하고 가장 좋은 것만 공개했다. 시뮬레이션으로는 같은 실력의 변종 20개만 돌려도 최고 점수가 약 50 Elo 상승한다. 동전을 스무 번 던져 제일 잘 나온 기록을 내는 것과 같은 원리다 — 어느 규칙에도 어긋나지 않는다.

데이터 접근도 비대칭이었다. 아레나 전체 대화 데이터에서 구글이 19.2%, OpenAI가 20.4%를 가져가는 동안 오픈웨이트 모델 83개가 합쳐서 29.7%를 나눠 가졌다. 그리고 아레나 데이터로 학습하면 아레나 승률이 23.5%에서 49.9%로 +112% 뛰는데, MMLU 점수는 오르지 않는다. 실력이 아니라 시험 적응이 늘어난 것이다.

사례 2: 평가 기관이 "우리 평가는 뚫린다"고 자백한다

미국의 국가 평가 기관 CAISI는 자기 평가에서 발생한 게이밍 비율을 스스로 측정해 공개한다 — Cybench 0.3%, SWE-bench 0.1% + 채점기 게이밍 0.2%, 내부 CVE-Bench는 4.8%. 수치보다 중요한 건 태도다. 정부 평가 기관이 자기 계측기의 뚫린 구멍을 수치로 공개하는 것 — 이게 평가를 과학으로 다루는 기관의 모습이다.

구조: 탈락제는 오염을 보상한다

2025년의 벤치마크 관행 연구는 이렇게 정리한다 — "리더보드는 평가를 경쟁으로 바꿔 놓았고, 그 결과 개발자가 벤치마크에 직접 최적화하도록 유인한다." 그리고 오염(테스트셋이 학습에 섞이는 것) 탐지 기법은 회피 가능하다는 것도 함께 보였다.

이걸 독파모 구조에 대입해 보자. 평가에서 지면 GPU 배정이 끊기고 사업에서 퇴출된다. 벤치마크 구성은 알려져 있다(AAII 구성 벤치마크는 공개돼 있고, NIA 벤치마크는 1차에서 한 번 치렀으니 2차 팀들은 그 성격을 안다). 이 조건에서 "평가에 나올 것과 비슷한 데이터를 학습 후반에 더 넣는" 선택은 부정행위가 아니다 — 합리적 경영 판단이다. 그게 문제다. 생존이 걸린 반복 평가에서, 오염을 막는 책임을 참가자의 양심에 맡기는 설계는 작동할 수 없다.

여기서 공개돼야 할 질문이 하나 나온다. NIA 벤치마크의 문항은 1차와 2차에서 같은 세트였는가, 갱신됐는가. 같은 세트라면 2차 점수는 "능력"과 "1차 문항에 대한 적응"을 구분할 수 없다. ②편에서 본 NIA 항목의 극단적 포화(네 팀 99.8~100.0)는 두 해석 모두와 부합한다 — 그래서 더더욱 공개가 필요하다.

국내 정황 — 의혹과 부인을 같은 문장에

2026년 8월, 일부 참여 기업이 벤치마크 점수 최적화 작업을 외주했다는 이른바 "벤치맥싱" 의혹이 보도됐다. 4개사 전원이 부인했고, 확인된 계약은 없다. 이 시리즈는 이 의혹을 사실로 취급하지 않는다. 여기서 인용하는 이유는 하나다 — 당시 과기정통부의 해명이 "전문가·이용자 평가로 보완된다"였는데, ②편에서 계산했듯 그 보완 장치라는 전문가 평가의 실효 가중치는 16.9%였고 통계적으로 4팀을 변별하지 못한 유일한 항목이었다(④편). 의혹의 진위와 무관하게, 방어 논리가 성립하지 않는다는 것은 산수로 말할 수 있다.

막는 방법은 알려져 있다

이 문제에는 검증된 해법이 있다. 뒤의 ⑪편에서 자세히 다루지만 예고만 하면:

비공개 홀드아웃 — 참가자가 한 번도 본 적 없는 문항으로만 최종 판정. 민간에서는 이미 표준이다(SEAL 리더보드는 "그 조직이 처음 접하는 프롬프트"를 규칙으로 명시한다).
매 회차 신규 문항 — LiveBench는 매달 문항을 갈아 끼우는 것으로 오염 저항을 설계에 내장했다.
오염 감사 — 새로 만든 동형 문항과의 점수 격차를 재면 오염의 크기가 나온다(GSM1k 방식, 실측 최대 8%p).
캐너리 문자열 — 평가셋에 고유 식별자를 심어 학습 데이터 혼입을 사후 탐지.

전부 독파모가 쓸 수 있었고 다음 회차에 쓸 수 있는 것들이다. 탈락제를 유지하려면 오염 방지는 선택이 아니라 전제 조건이다.

그런데 잠깐 — 지금까지 벤치마크 블록을 "40점"으로 뭉뚱그렸다. 그중 25점은 특정 외부 회사의 지수 하나에 걸려 있었다. 다음 편은 그 계측기를 분해한다. 국가 예산 결정의 4분의 1을 건 자, Artificial Analysis Intelligence Index.

— 독파모 평가 해부 ⑥ / 다음 글: 25점을 건 계측기를 뜯어봤다 — AAII

독파모 평가 해부 ⑤ — 60점을 사람에게 맡겼다: 사람은 무엇을 채점하나

④편의 결론은 "사용자 점수 격차는 실재하지만, 그것이 무엇을 잰 것인지 모른다"였다. 이번 편은 그 빈칸을 문헌으로 채운다. 사람에게 모델을 채점시키면 사람은 무엇을 채점하는가. 독파모는 100점 중 60점을 사람에게 맡겼다 — 전문가 35, AI 전문사용자 15, 일반국민 10. 이 선택이 무엇을 의미하는지 알려면 사람 선호 평가에 대해 알려진 것들을 봐야 한다.

사람은 정답이 아니라 문체에 투표한다

가장 큰 규모의 사람 선호 평가는 LMArena(구 Chatbot Arena)다. 그리고 그 운영자 스스로가 자기 데이터의 편향을 정량화했다. 선호 투표를 회귀분석하면 응답 길이의 계수가 0.249로, 마크다운 목록(0.031)·헤더(0.024)·볼드(0.019)보다 8~13배 크다. 길게 쓰면 이긴다는 뜻이다. 실제로 문체 효과를 통제한 순위를 발표하자 한 모델이 6위에서 18위로 12계단 떨어졌다. 조작이 아니다 — 사람 선호가 원래 그렇게 생겼다는 운영자 자신의 보고다.

정확성 쪽은 더 불편하다.

스택오버플로 질문에 대한 ChatGPT 답변을 분석한 연구: 답변의 52%가 부정확했는데, 사용자들은 그중에서도 35%를 사람 답변보다 선호했고 오류의 39%를 알아채지 못했다. 선호 이유로 꼽힌 것이 "포괄성과 잘 다듬어진 문체"다.
단정적인 문체로 쓰인 출력에서 비전문가는 사실 오류의 2.2%를, 전문가는 24.6%를 탐지했다. 자신감 있는 문체는 비전문가에게는 오류를 가려 주고, 전문가에게는 오히려 검증 대상으로 보이게 한다.
크라우드 평가자의 평가자 간 일치도(Krippendorff α)를 실측한 연구에서는 0.11~0.27 — 사용 불가 수준 — 이 나왔고, 문항당 판단에 걸린 시간의 중앙값은 13초였다.

모델 쪽에도 이 편향에 올라타는 성질이 있다. RLHF로 학습된 모델은 사용자 의견에 동조하는 방향으로 보상받아 왔고, 선호 보상모델이 진실한 답변보다 아첨하는 답변을 95%의 경우에 선호한다는 측정이 있다. "확실해요?"라고 되묻기만 해도 일부 모델은 맞는 답의 86~98%를 뒤집었다. 즉 사람 선호 60점은 모델의 능력만이 아니라, 사람 비위를 맞추도록 튜닝된 정도를 함께 잰다.

몇 명이면 되는가 — 그리고 몇 문항이면 되는가

표본 크기 문제도 계산이 된다(필자 계산, 이항 검정, α=0.05, 검정력 80%).

55:45 정도의 선호 차이를 입증하려면 무승부 제외 783건의 판정이 필요하다.
52.5:47.5이면 3,139건이다.

독파모의 전문사용자 49명·일반국민 185명이 각각 몇 건의 판정을 했는지는 공개되지 않았다. 1인당 여러 문항을 평가했다면 충분했을 수도 있다 — 그 산수를 공개하면 되는데 하지 않았다.

문항 수 쪽에는 더 유용한 개념이 있다. 분리도(separability) — 전체 모델 쌍 중 신뢰구간이 겹치지 않는 쌍의 비율이다. 160문항짜리 MT-Bench의 분리도는 22.6%다. 즉 77%의 모델 쌍은 애초에 순위를 가릴 수 없다. 1,000문항으로 늘린 Arena-Hard는 87.4%다. 독파모 사람 평가의 과제 수와 분리도는 공개되지 않았다.

공정하게: 문제는 '일반국민'이 아니라 '구조 없는 선호 투표'다

여기서 "일반인에게 물어본 게 잘못"이라고 결론 내리면 틀린다. 구조를 주면 비전문가도 잘한다. 토론·체크리스트·참조자료를 제공한 실험에서 비전문가 정확도가 76%까지 올라갔고, 리커트 척도 대신 이진 판정 + 근거 서술(Boolean 루브릭)을 쓰면 일치도가 오르고 평가 시간이 절반으로 줄어든다는 실무 보고가 있다. 사람 평가는 벤치마크가 못 재는 것(실사용 맥락, 한국어의 자연스러움)을 잴 수 있는 유일한 도구이기도 하다. 문제는 도구가 아니라 설계다.

그래서 방어 가능한 사람 평가의 최소 요건은 정해져 있다 — 블라인딩(어느 팀 모델인지 가림), 제시 순서 무작위화, 사전 등록된 루브릭과 앵커 예시, 평가자 캘리브레이션, 평가자 간 일치도(IRR) 보고, 길이·서식 통제, 표본 크기 근거. 독파모 사람 평가 60점에서 이 중 무엇이 지켜졌는지, 하나도 공개되지 않았다.

블라인딩 하나만 봐도 상태를 알 수 있다. 한 보도는 "블라인드 평가"라 했고, 정부 자료는 "제시 순서 무작위"라고 표현했으며, 모티프는 이의제기에서 "블라인드를 요청했다"고 주장했다 — 블라인드였다면 나올 수 없는 주장이다. 세 서술이 서로 충돌하는데 어느 것이 사실인지 확인할 공개 자료가 없다. 60점짜리 측정의 가장 기본적인 설계 항목이 이 상태다.

이 편의 규칙 — 우리 회사용

사람 선호 점수를 "품질"로 읽지 마라. 그것은 품질 + 길이 + 문체 + 아첨의 합성 신호다. 길이·서식을 통제하고, 정확성은 별도 축으로 재라.
비전문가에게는 선호를 묻지 말고 구조화된 과제를 줘라. 체크리스트, 참조자료, 이진 판정.
IRR을 계산하지 않은 사람 평가는 버려라. α 0.2짜리 패널의 평균은 정보가 아니다.
블라인딩과 순서 무작위화는 협상 대상이 아니다. 그리고 그렇게 했다고 문서로 남겨라 — "했다"와 "했다고 증명할 수 있다"는 다르다.

여기까지가 사람 쪽이다. 그런데 벤치마크 쪽은 단단한가? 다음 편은 더 불편한 이야기다 — 규칙을 하나도 어기지 않고 리더보드에서 이기는, 이미 정량화된 방법들. 그리고 탈락제가 바로 그 방법들을 쓰도록 유인한다는 구조적 문제.

— 독파모 평가 해부 ⑤ / 다음 글: 부정행위 없이 리더보드를 이기는 법

독파모 평가 해부 ④ — 3.2점에 오차막대를 붙여봤다

고백부터. 필자는 이 계산을 "3.2점 차이는 노이즈였다"고 쓰기 위해 시작했다. ③편에서 본 문헌들이 그렇게 예고했으니까. 그런데 계산은 그렇게 나오지 않았다. 이번 편은 이 시리즈에서 가장 정직한 편이고, 그래서 가장 중요한 편이다.

이 평가의 표본 단위는 문항이 아니라 사람이다

③편의 "문항 수" 논리를 그대로 가져오면 안 된다. 독파모 2차 평가의 100점은 성격이 다른 두 블록이다.

벤치마크 40점 — 표본 단위가 문항. AAII 쪽은 문항 수와 반복 횟수가 공개돼 있다(GPQA 198문항×5회, HLE 1,079×2, Terminal-Bench 89×3 등). NIA 쪽은 문항 수 미공개.
사람 평가 60점 — 표본 단위가 사람. 전문가 10명(최고·최저 절사 후 유효 8명), AI 전문사용자 49명, 일반국민 185명.

사람 블록의 오차는 평가자 수와 평가자 간 산포(σ)로 결정된다. 문제는 σ가 공개되지 않았다는 것이다. 그래서 아래 계산은 전부 시나리오다 — 다만 결정적 기준으로 "그 척도에서 산술적으로 가능한 최대 σ"(0~S점 척도에서 S/2)를 포함시켰다. 이 값에서도 유의하다면, 어떤 실제 산포에서도 유의하다는 뜻이다. (전부 필자 계산, 비대응·정규근사·양측 α=0.05.)

계산 ① 일반국민 10점 — 노이즈일 수 없다

LG 7.6 vs 모티프 5.7, 격차 1.9점, n=185.

σ 가정	z	p
5.0 — 0~10 척도에서 산술적 최대	3.65	0.00026
2.5	7.31	<10⁻¹²

모든 평가자가 0점 아니면 10점만 주는 극단적 세계에서도 유의하다. 185명 격차 1.9점은 노이즈일 수 없다.

계산 ② 전문사용자 15점 — 역시 실재한다

SKT 11.6 vs 모티프 8.4, 격차 3.2점, n=49. 산술적 최대 σ=7.5에서도 z=2.11(p=0.035), 현실적인 σ=3이면 z=5.28. 탈락을 만든 가장 큰 격차 — 사용자 블록의 5.0점 — 는 통계적으로 실재하는 격차다.

계산 ③ 전문가 35점 — 유일하게 무너지는 항목

LG 29.5 vs 모티프 27.1, 격차 2.4점, 유효 n=8.

σ 가정	z	판정
5.0	0.96	유의하지 않음 (p=0.34)
4.0	1.20	유의하지 않음 (p=0.23)
2.0	2.40	p=0.016 — 다중비교 보정 실패

유의해지려면 전문가 10명이 35점 척도에서 표준편차 2.1점 이내(척도의 6%)로 합의했어야 한다. 전문가끼리의 일치도가 LLM 출력 평가에서 79~90% 수준이라는 문헌을 감안하면 비현실적인 가정이다. 명목 배점이 가장 컸던 항목이, 통계적으로는 네 팀을 변별하지 못한 유일한 항목이다. ②편의 실효 가중치 결과(35점 배점, 실효 16.9%)와 정확히 겹친다.

계산 ④ 그래서 총점은

총점 격차의 유의성은 전문가 항목의 산포가 지배한다. 시나리오별로:

1위-2위 0.7점, 2위-3위 0.9점: 어떤 시나리오에서도 유의하지 않다. SKT, 업스테이지, LG는 통계적으로 동점이다.
3위-4위 3.2점: 전문가 산포에 따라 갈린다. 전문가들이 일관됐다면(σ_d=2) 다중비교 보정까지 통과하고, 중간(σ_d=4)이면 보정에서 탈락하고, 산포가 컸다면(σ_d=8) 유의하지 않다.

즉 탈락 결정의 통계적 성립 여부는 전적으로 전문가 10명의 채점 산포에 달려 있고, 그 값은 공개되지 않았다. 여기서 이 시리즈의 가장 구체적인 요구가 나온다 — 정부는 이 값을 갖고 있다. 항목별 평가자 표준편차 한 줄을 공개하면 이 논쟁은 산수로 끝난다.

예상과 달랐던 결론 — 정밀도가 아니라 타당도다

필자의 예상은 "전부 노이즈"였다. 실제 결과는 셋으로 갈렸다 — 상위 3팀은 동점이고, 전문가 항목은 변별에 실패했지만, 탈락을 만든 사용자 격차 자체는 실재한다.

그러니 정직한 결론은 이것이다. 이 평가의 문제는 측정의 정밀도가 아니다. 49명과 185명은 그들이 잰 것을 꽤 정밀하게 쟀다. 문제는 그들이 무엇을 쟀느냐다. 일반국민 185명이 준 1.9점 차이는 실재한다 — 그런데 그 점수는 모델의 무엇을 반영하는가? 답변의 정확성인가, 문체의 매끄러움인가, 응답 속도인가, 말투인가? 그리고 그것이 "6개월 내 출시된 글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 무슨 관계인가? 이 연결을 설명하는 문서를 찾지 못했다.

이 시리즈의 핵심 문장을 여기서 처음 쓴다. 이 글은 정부가 틀린 팀을 잘랐다고 주장하지 않는다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장한다. 오차막대가 없어서 확인할 수 없고, 사람 점수가 무엇을 재는지 정의되지 않아서 확인할 수 없다.

그럼 다음 질문은 정해져 있다. 사람 60점 — 사람은 모델의 무엇을 채점하는가. 이 질문에는 놀랄 만큼 구체적인 연구가 쌓여 있다.

— 독파모 평가 해부 ④ / 다음 글: 60점을 사람에게 맡겼다 — 사람은 무엇을 채점하나

독파모 평가 해부 ③ — 평가는 실험이다, 그런데 표준오차가 없다

우리는 버튼 색깔 하나를 바꾸는 A/B 테스트에도 p-value를 요구한다. 그런데 수천억 원짜리 국가 사업의 팀 탈락을 결정하는 모델 평가에는 왜 오차막대를 요구하지 않는가. 이번 편은 독파모를 잠시 내려놓고, 모델 평가 점수라는 것이 물리적으로 얼마나 흔들리는 물건인지를 문헌으로 확인한다. 다음 편에서 이 도구를 들고 독파모의 3.2점으로 돌아간다.

점수는 측정값이고, 측정값에는 오차가 있다

벤치마크 정확도는 "문항이라는 표본에서 추정한 모델 능력"이다. 그러면 표본 오차가 있다. Anthropic의 "Adding Error Bars to Evals"가 이걸 정식으로 정리했다. 정확도 p, 문항 수 n일 때 표준오차는 √(p(1−p)/n)이고, 여기서 바로 실무 감각이 나온다.

문항 수	95% 신뢰구간 반폭 (p=0.7 부근)
100	약 ±9.0%p
300	약 ±5.2%p
1,000	약 ±2.8%p
14,000 (MMLU 규모)	약 ±0.8%p

(필자 계산, 위 논문의 공식.)

같은 논문의 검정력 계산으로는, 두 모델의 3%p 차이를 80% 검정력으로 판별하는 데 약 969문항이 필요하다. 그래서 저자의 권고가 "새 평가셋은 최소 1,000문항"이다. 300문항짜리 평가로 1점 차이를 논하는 것은 동전 던지기를 리포트하는 것과 다르지 않다.

이건 시작일 뿐이다. 표본 오차는 오차의 하한이고, 실제로는 측정 조건이 점수를 훨씬 크게 흔든다.

같은 모델, 같은 시험, 다른 점수

구현체(하네스)만 바꿔도: 같은 llama-65b의 MMLU가 한 구현에서 0.637, 다른 구현에서 0.488 — 14.9점 차이다. Falcon-7B의 ARC는 14.3점, Mistral-7B의 MMLU는 10.3점 벌어졌다. 전부 공개된 재현 실험이다.
프롬프트 서식만 바꿔도: 같은 문제를 묻는 형식만 바꿔 Mistral-7B의 ARC가 +22.3%p 움직였고, 극단적인 사례로는 서식 변경만으로 최대 76점까지 움직인 보고가 있다.
객관식 보기 순서만 바꿔도: llama-30B의 MMLU가 41.2%~68.2%, 27.0점 스윙.
문항을 같은 뜻으로 바꿔 쓰기만 해도: 한 모델이 벤치마크 순위 1위와 9위 사이를 오갔다.

한국어 실측도 있다. 같은 EXAONE-3.5-32B의 KMMLU를 LG는 57.0으로, SKT는 57.17로, 카카오는 46.36으로 보고했다 — 10.8점 차이다. 부정이 아니다. 원인은 규명돼 있다 — 카카오는 5-shot direct, LG는 0-shot CoT 프로토콜을 썼다. 측정 프로토콜을 명시하지 않은 점수는 비교 대상이 아니라는 뜻이다. 독파모의 NIA 벤치마크 15점이 어떤 프로토콜(샷 수, CoT 여부, 반복 횟수, 온도)로 측정됐는지는 공개되지 않았다.

업계 전체가 이 기준에 못 미친다 — 그래서 기회다

공정하게 말하면 이건 독파모만의 문제가 아니다. 벤치마크 관행을 감사한 BetterBench 연구는 유명 벤치마크 24개를 심사해 대부분이 통계적 유의성 자체를 보고하지 않는다고 결론지었다. 신뢰구간을 붙이는 것만으로 상위 몇 %에 드는 것이 2026년 현재 업계의 수준이다.

그리고 바뀔 수 있다는 선례도 있다. 싱가포르 주도의 동남아 언어 평가 SEA-HELM은 논문 시점에 "단일 실행, 오차막대 없음 — 대부분의 다른 벤치마크와 마찬가지로"라고 적었다가, 지금 라이브 리더보드는 8회 독립 실행 + 부트스트랩 2,000회 + 95% 신뢰구간으로 돌아간다. 비난이 아니라 선례로 인용한다 — 국가 평가 기관이 오차막대를 다는 것은 가능하다. 이미 한 곳이 하고 있다.

반복 실행이 왜 중요한지는 국내에서 이미 실증됐다. 서강대 연구팀이 수능 수학 46문항을 모델당 3회씩 돌렸는데, 어떤 모델은 1회 정답률과 3회 통합(pass@3)의 격차가 24.6%p까지 벌어졌다(이 평가 자체의 한계는 ⑧편에서 따로 다룬다). 3회만 돌려도 드러나는 불안정성을, 1회 측정 점수만으로 비교하는 표가 시중에 얼마나 많은지 생각해 보라.

이 편의 규칙

점수 하나가 아니라 점수 ± 신뢰구간을 보고하라. n을 모르면 신뢰구간을 계산할 수 없고, 신뢰구간이 없으면 순위는 해석 불가능하다.
측정 조건(하네스 버전, 프롬프트 템플릿, 샷 수, 반복 횟수, 온도)을 점수와 함께 적어라. 조건이 다른 점수를 한 표에 넣는 순간 그 표는 무효다.
1,000문항 미만의 평가로 3%p 미만의 차이를 주장하지 마라.

이제 도구가 준비됐다. 다음 편에서 이 도구를 독파모의 점수표에 실제로 들이댄다. 예고하면 — 계산 결과는 필자가 예상했던 것과 달랐다.

— 독파모 평가 해부 ③ / 다음 글: 3.2점에 오차막대를 붙여봤다

독파모 평가 해부 ② — 100점 중 15점은 아무 일도 하지 않았다

①편에서 점수표의 산수가 맞는다는 걸 확인했다. 이번 편은 그 표를 다른 각도에서 읽는다. 배점표에 적힌 숫자와, 실제로 순위를 만든 숫자는 다르다.

배점은 의도이고, 분산이 현실이다

배점표는 이렇게 말한다 — 전문가 평가가 35점으로 가장 중요하고, AAII가 25점, NIA 벤치마크와 전문사용자가 각 15점, 일반국민이 10점이다. 그런데 어떤 항목이 순위에 실제로 기여하는지는 배점이 아니라 그 항목이 팀 간에 만들어내는 점수 차이(분산)가 결정한다. 모든 팀에게 똑같은 점수를 주는 항목은 배점이 100점이어도 순위에 아무 영향이 없다.

네 팀의 항목별 점수에서 각 항목이 총점 분산에 기여한 몫을 계산하면(필자 계산, n=4의 기술통계임을 명시한다 — "이 4팀에서 그랬다"는 뜻이지 보편 법칙이 아니다):

항목	명목 배점	4팀 격차	실효 가중치	배율
AAII	25	4.1	41.7%	×1.67
AI 전문사용자	15	3.2	28.9%	×1.93
전문가	35	2.4	16.9%	×0.48
일반국민	10	1.9	10.9%	×1.09
NIA 벤치마크	15	0.7	1.7%	×0.11

배점표와 현실이 정반대다.

명목 배점이 가장 큰 전문가 35점의 실효 가중치는 16.9% — 배점의 절반도 작동하지 않았다.
명목 15점짜리 전문사용자가 실효 2위(28.9%)다. 배점 대비 거의 2배로 작동했다.
그리고 NIA 벤치마크 15점의 실효 가중치는 1.7%다.

100점 중 15점은 아무 일도 하지 않았다

NIA 벤치마크 항목의 네 팀 점수는 12.7, 12.8, 13.3, 13.4다. 변별폭이 0.7점 — 만점의 4.7%다. 네 팀이 사실상 같은 점수를 받았고, 이 항목은 상수였다.

왜 이렇게 됐는지는 범주별 원점수에 단서가 있다. NIA 벤치마크 8개 범주 중 지시이행은 네 팀이 99.8~100.0, 사회적 안전성은 98.8~100.0이다. 완전히 포화된 시험지다. 모두가 100점을 받는 시험은 아무것도 재지 못한다 — 시험이 쉬워서 모두가 잘하는 것인지, 모두가 잘해서 시험이 의미 없어진 것인지조차 구분할 수 없다.

이건 이 사업만의 문제가 아니라 한국어 벤치마크 전반의 상태다(⑧편에서 본다). 참고로 벤치마크 설계 문헌에는 기저 정답률이 60~95% 구간을 벗어나면 변별력이 사라진다는 실무 기준이 있다. 99.8%는 그 상한을 한참 벗어나 있다. 국가 벤치마크의 절반이 죽은 눈금 위에서 채점됐다.

공정하게: 가중치를 바꿔도 순위는 안 바뀐다

여기서 멈추면 "가중치 장난으로 결과가 뒤집혔다"는 인상이 남을 텐데, 그건 사실이 아니다. 검산해 봤다.

다섯 항목을 균등 배점(20/20/20/20/20)으로 바꿔도 순위는 SKT > 업스테이지 > LG > 모티프 그대로다.
순위가 바뀌려면 벤치마크 블록의 비중을 약 60% 이상으로 올려야 한다.
AAII의 환산 상한 문제(①편의 "도달 불가능한 9.25점")를 실제 세계 최고 63점 기준으로 고쳐 다시 계산해도 모티프는 여전히 4위다(72.68 vs LG 73.48, 100점 환산).

즉 모티프가 이의제기에서 주장한 "AAII 격차 16점이 4점으로 압축됐다"는 수치적으로 정확하지만, 그 압축을 고쳐도 결과는 바뀌지 않는다. 이 결과는 가중치의 소소한 변경에 견고하다. 이건 정부에게 유리한 사실이고, 그래서 그대로 쓴다.

하지만 이 견고함이 말해 주는 것을 정확히 읽어야 한다. 순위가 안 바뀌는 이유는 모티프가 사람 평가 세 항목에서 전부, 크게 졌기 때문이다(전문가 −2.4, 전문사용자 −3.2, 일반국민 −1.9). 그러니 진짜 질문은 가중치가 아니라 이것이다 — 그 사람 점수들은 무엇을 잰 것인가. 그리고 벤치마크에서 이기고 사람 평가에서 진 팀을 자르는 것이 "글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 정합적인가.

이 편의 교훈 — 우리 회사용

자체 평가 체계를 설계할 때 그대로 가져갈 규칙 세 개.

가중치는 배점이 아니라 분산으로 정의된다. 배점표를 만들었으면 시뮬레이션으로 실효 가중치를 확인하라. 우리가 중요하다고 적은 항목이 실제로 순위를 움직이는지.
포화된 지표는 배점에서 빼거나 어렵게 만들어라. 전 대상이 95%를 넘는 항목은 눈금이 아니라 장식이다.
민감도 분석을 발표에 포함하라. "가중치를 바꿔도 결론이 유지되는가"는 한 시간짜리 계산이고, 이번처럼 결론이 견고하다면 그건 평가자에게 유리한 증거다. 왜 이 계산을 정부가 아니라 블로거가 하고 있는지 모르겠다.

다음 질문. 격차가 0.7점, 0.9점, 3.2점이라는데 — 이 숫자들에 오차막대를 붙이면 어떻게 될까. 그 전에, 애초에 모델 평가 점수라는 게 얼마나 흔들리는 물건인지부터 보자.

— 독파모 평가 해부 ② / 다음 글: 평가는 실험이다 — 그런데 이 실험엔 표준오차가 없다

독파모 평가 해부 ① — 70.6, 69.9, 69.0, 65.8: 이 표를 먼저 검증했다

2026년 8월, 정부가 독자 AI 파운데이션 모델 사업(독파모) 2차 단계평가 성적을 전부 공개했다. 네 팀이 100점 만점으로 채점됐고, 최하위 한 팀이 탈락했다. 이 시리즈는 그 평가를 해부한다. 결론부터 말하면 배점표를 만든 규칙에 심각한 문제가 있다고 주장할 것이다. 그래서 더더욱, 비판을 시작하기 전에 정부의 산수부터 검산했다.

먼저 이 시리즈 전체의 출처 한계를 밝힌다. 수치는 과기정통부·NIPA 발표와 이를 인용한 보도, 그리고 korea.kr 정책브리핑 원문에서 가져왔다. 평가에 쓰인 문항, 채점 원자료, 환산식은 공개되지 않았으므로 일부는 필자가 역산했고, 그런 값은 전부 필자 계산으로 표기한다.

공개된 점수표

팀	AAII (25)	NIA 벤치 (15)	전문가 (35)	전문사용자 (15)	일반국민 (10)	총점
SK텔레콤	8.8	13.4	29.3	11.6	7.5	70.6
업스테이지	9.4	13.3	29.1	10.8	7.3	69.9
LG AI연구원	7.8	12.8	29.5	11.3	7.6	69.0
모티프	11.9	12.7	27.1	8.4	5.7	65.8

검산 결과부터. 네 팀 모두 다섯 항목의 합이 총점과 소수점까지 정확히 일치한다(8.8+13.4+29.3+11.6+7.5 = 70.6, 나머지 세 팀도 동일). 별도로 발표된 파생 수치들 — 벤치마크 평균 22.5점, 벤치마크 1~4위 격차 4.0점, 사용자 평가 격차 5.0점 — 도 이 표에서 전부 재현된다. 산수는 맞다. 이 시리즈의 논지는 "숫자가 틀렸다"가 아니다. "숫자를 만든 규칙이 틀렸다"다.

표에서 바로 보이는 사실 하나를 짚고 가자. 과기정통부 발표 기준으로 모티프는 벤치마크 소계(AAII+NIA) 1위(24.6/40)이면서 종합 4위로 탈락했다. 벤치마크에서 이기고 사람 평가에서 진 것이다. 이게 정당한 결과인지 아닌지는 아직 판단하지 않는다 — 시리즈가 끝날 때까지 판단을 미뤄 달라. 다만 이 구도가 이 시리즈 전체의 출발점이다.

공개되지 않은 환산식을 역산했다

AAII는 Artificial Analysis Intelligence Index라는 외부 지수다(⑦편에서 해부한다). 이 지수의 원점수를 25점 만점으로 어떻게 바꿨는지, 즉 환산식은 공개되지 않았다. 그래서 역산해 봤다. 평가 시점의 AA 리더보드 원점수를 x라 하고 각 팀의 AAII 항목 점수와 비교하면:

팀 / 모델	AA 원점수	÷4	발표 점수	잔차
모티프 3	47	11.75	11.9	+0.06 이내
Solar Open 2 (업스테이지)	37+	9.35	9.4	+0.06 이내
A.X K2 (SKT)	35	8.75	8.8	+0.06 이내
K-EXAONE 2.0 (LG)	31	7.75	7.8	+0.06 이내

(필자 계산. AA 원점수는 2026-08 시점 리더보드 값.)

환산식은 "AA 원점수 ÷ 4"다. 네 팀의 잔차가 전부 0.06점 이내이고 부호까지 같다(0.1 단위 올림으로 설명된다). 이보다 잘 맞는 다른 가설은 찾지 못했다 — 예컨대 "세계 최고 모델 대비 정규화" 가설을 대입하면 모티프가 18.8점이 나와야 하는데 실제는 11.9점이다.

이 역산은 부수적으로 흥미로운 사실 하나를 확정한다. 업스테이지가 평가받은 모델은 Solar Pro 4가 아니라 Solar Open 2다. Solar Pro 4의 AA 점수를 4로 나누면 발표 점수와 17배 큰 잔차가 생긴다. Solar Open 2만 맞는다. 언론 보도 다수가 이 구분 없이 썼는데, 두 모델은 다른 모델이다(Solar Open 2는 총 250B/활성 15B의 오픈웨이트 MoE이고, Solar Pro 4는 파라미터가 공식적으로 미공개다).

÷4라는 환산이 무엇을 의미하는지는 잠깐 멈춰서 볼 가치가 있다. AAII를 100점 만점 척도로 취급했다는 뜻인데, 평가 시점 세계 최고 모델의 AAII가 63점이다. 즉 25점 만점 중 15.75점 위로는 지구상 어떤 모델도 도달할 수 없었다. 이 설계가 결과를 바꿨는지는 뒤에서 따로 계산한다(미리 말하면: 바꾸지 않았다 — 그래서 더 흥미롭다).

이 평가에 걸려 있던 것

이건 리더보드 순위 놀이가 아니었다. 2차 평가를 통과한 세 팀은 하반기 B200 약 1,000장 규모의 GPU를 배정받고, 탈락한 모티프는 받지 못한다. 1차에서는 다섯 팀 중 네이버클라우드와 NC AI가 탈락했다. 국가가 종합점수로 줄을 세워 하위 팀의 자원을 끊는 토너먼트 구조이고, ⑨편에서 보겠지만 이 구조를 쓰는 나라를 다른 곳에서는 찾지 못했다.

그리고 탈락한 모티프는 2026-08-27 공식 이의를 제기했고, 이의 결과와 무관하게 3차에 불참하겠다고 밝혔다. 정부의 공식 답변은 이 글을 쓰는 시점(2026-08-31)까지 공개되지 않았다.

이 시리즈가 하려는 것

미리 선을 그어 둔다. 이 시리즈는 "잘못된 팀이 탈락했다"고 주장하지 않는다. 그건 필자가 알 수 없는 일이다. 이 시리즈가 주장할 것은 다음이다 — 이 평가는 결과가 옳았는지 아무도 확인할 수 없게 설계됐고, 그 설계 결함들은 하나하나 지목할 수 있으며, 고치는 비용은 놀랄 만큼 싸다. 그리고 마지막 두 편에서는 비판을 넘어, 우리 회사가(그리고 다음 국가 사업이) 그대로 쓸 수 있는 평가 프로토콜과 원화 가격표를 내놓는다.

왜 이걸 파는가. 필자도 LLM을 만들고 있고, 언젠가 누군가의 평가표 위에 올라갈 것이기 때문이다. 남의 평가를 해부해 보는 것이 내 평가 기준을 세우는 가장 빠른 길이다.

다음 질문은 이것이다 — 이 100점 중에서, 실제로 순위를 가른 점수는 몇 점이었을까. 배점표에 적힌 숫자와 실제로 작동한 숫자는 다르다.

— 독파모 평가 해부 ① / 다음 글: 100점 중 15점은 아무 일도 하지 않았다

2026년 8월 30일 일요일

친칠라 법칙 ⑬ (완결) — 2026년의 예산표: 사전학습 : 사후학습 : 테스트타임

친칠라는 하나의 예산을 두 축(N, D)에 나누는 문제였다. 2026년은 세 개의 예산을 나누는 문제다 — 사전학습, 사후학습(RL), 그리고 테스트타임. 마지막 편은 이 셋의 비율을 재고, 시리즈가 열두 편 내내 미뤄 둔 계산을 마무리한다. 서빙 원가를 원화로 닫는 일이다.

RL의 몫이 2년 만에 자릿수로 커졌다

모델	사전학습 : 사후학습	사후학습 비중
DeepSeek-V3	2,664K : 5K H800-시간	0.18%
Llama-Nemotron Ultra	RL 140K H100-시간	0.45%
K-EXAONE 2.0 (LG)	8.8T : 350B 토큰	3.8%
ScaleRL 8B 단일 런	RL 100K H100-시간	6.8%

0.18%에서 4~10%로, 20~50배 커졌다. MiniMax-M1은 RL만으로 512×H800을 3주, $534,700을 썼다. 참고로 이 숫자를 나눠 보면 시간당 $2.07로, DeepSeek이 가정한 $2와 맞는다 — 국내 온디맨드(VESSL H100 $2.98)는 그 1.5배다.

다만 이 표를 읽을 때 함정이 둘 있다. 첫째, RL 비중이 큰 모델은 대부분 사전학습을 물려받은 모델이다. 분자가 커진 게 아니라 분모가 사라진 것이다. 둘째, DeepSeek-R1·Kimi K2·Qwen3는 사후학습 컴퓨트를 공개하지 않는다. 그 자체가 신호다 — 경쟁 우위가 그쪽으로 이동했다는 뜻이다.

RL은 멱법칙이 아니라 시그모이드다

이게 예산 배분에서 가장 중요한 차이다. 사전학습은 돈을 부으면 손실이 계속 내려간다(멱법칙). RL은 천장이 있다. 40만 GPU-시간 규모의 체계적 실험에서 적합된 형태는 시그모이드이고, 검증 런에서 도달한 천장 A는 0.61~0.645였다.

실무적으로 결정적인 건 무엇이 천장을 움직이고 무엇이 속도만 움직이는가다.

천장 A를 올리는 것: 손실 함수 종류, LM head를 FP32로 두는 것(0.52 → 0.61), 배치 크기, 생성 길이, 그리고 base 모델 크기.
속도 B만 올리는 것: 손실 집계 방식, 정규화, 커리큘럼, off-policy 정도. 이걸 아무리 튜닝해도 천장은 그대로다.

그래서 예산 규칙이 단순해진다 — 계획한 RL 예산의 10~20%를 먼저 쓰고, 곡선을 적합해 천장 A를 읽어라. A가 목표에 못 미치면 더 붓지 말고 base 모델이나 손실 함수를 바꿔라. 실제로 8천 스텝에서 1만6천을, 5만 GPU-시간에서 10만을 정확히 외삽했다. RL은 "돈만 부으면 되는 축"이 아니다.

그리고 대안 둘이 있다. 17B×16 MoE가 8B dense를 RL 컴퓨트 6분의 1로 이겼다 — ⑧편의 활성비 논리가 RL에서도 복리로 작동한다. 더 강한 건 Qwen3의 보고다 — 증류가 RL 대비 GPU-시간 10분의 1이고 성능도 더 좋았다. ⑤편의 결론이 여기서 반복된다.

데이터 원가도 비대칭이다. Qwen3의 추론 RL은 검증 가능한 질문-검증기 쌍 3,995개로 했는데, 선호 학습(DPO)용 데이터는 42만 5천 쌍이 필요했다. 사람 선호 데이터 10만 쌍이면 2~3억 원 규모로, 7B를 처음부터 학습하는 비용과 같은 자릿수다. 수학·코드처럼 자동 채점이 가능한 과제를 고르는 것이 곧 예산 절감이다.

테스트타임 — FLOPs로는 이기고 돈으로는 진다

추론 시 여러 번 샘플링해 고르는 테스트타임 스케일링은 FLOPs를 맞춘 조건에서 14배 큰 모델을 이긴다는 결과로 유명하다. 그런데 비용으로 다시 재면 부호가 뒤집힌다.

방식	출력 100만 토큰당
7B에 32회 샘플링	약 ₩5,456
32B 한 번에	약 ₩286

19배 비싸다. FLOPs가 같아도 돈이 같지 않은 이유는 ④편에서 본 그대로다 — 작은 모델을 여러 번 돌리면 가중치 읽기가 그만큼 반복되고, 디코딩은 대역폭 바운드다. 이 둘이 비기려면 어려운 질의 2% 이하에만 다중 샘플링을 라우팅해야 한다. "작은 모델 + 많이 생각하기"는 전량 적용하면 손해이고, 선별 적용해야 이득이다.

그래서 서빙 원가가 얼마인가 — 시리즈의 마지막 계산

기준은 ⑩편과 동일하다(H100 $2.98/시간, 환율 1,380원). 출력 토큰 100만 개당 원가를 배치를 제대로 채운 조건에서 계산하면:

모델	₩ / 출력 100만 토큰
30B 총 / 3B 활성 MoE	약 ₩95
7B dense	약 ₩171
32B dense	약 ₩286

검산이 된다 — 32B 추정치가 상용 서빙 업체의 실제 공시가와 1.35배 이내로 맞는다. 그리고 MoE의 값어치가 여기서 숫자로 보인다. 총 30B짜리가 7B dense보다 싸다. 활성 파라미터가 3B이기 때문이다.

그런데 이 표는 낙관적이다. 위 값은 GPU가 100% 가동될 때의 이야기다. 실제로 월 1,000만 요청 서비스라면 H100 한 장의 가동률이 약 12%에 그치고, 그러면 실효 원가가 ₩1,396 / 100만 토큰으로 8배가 된다. 트래픽이 없으면 GPU는 놀면서 돈을 먹는다.

여기서 이 시리즈에서 가장 불편한 결론이 나온다.

8B 모델은 온디맨드 H100에서 100% 가동해도 API 가격을 못 이긴다.
32B 자체 서빙이 API보다 싸지는 손익분기가 월 3,600만 요청 수준이다.

⑩편에서 "자체 LLM은 2억 원짜리 문장"이라고 했는데, 그 2억을 쓰고 나서도 서빙 물량이 없으면 API보다 비싸다.

회수 기간을 계산하면 — 100년이 넘는다

이제 ⑪편의 질문에 숫자로 답할 수 있다. 7B를 처음부터 학습하는 비용(약 ₩1.95억)과 한국어 CPT 비용(약 ₩243만)의 차이가 약 ₩1.93억이다. 이걸 서빙 절감으로 회수하려면 얼마나 걸릴까.

토큰 효율이 30% 개선된다고 후하게 가정해도, 월 1,000만 요청 기준 회수 기간이 100년을 훌쩍 넘는다. 24개월 안에 회수하려면 월 수억 건, 초당 수백 건의 트래픽이 필요하다.

더 직관적인 환산도 있다. 누적 10억 요청을 서빙하는 총 원가가 약 ₩3,700만이다. 사전학습 한 번 값의 7분의 1이다. 서빙 비용이 사전학습 비용과 같아지려면 70억 요청이 필요하다.

④편에서 인용한 "손익분기 10억 요청"을 여기서 정정해야 한다. 그건 회수 조건이 아니라 모델 형상 규칙이다 — "10억 요청을 예상하면 모델을 더 작고 더 오래 학습시켜라"는 말이지, "10억 요청이면 자체 학습이 회수된다"는 말이 아니다. 대부분의 한국 서비스에서 처음부터 학습은 재무적으로 회수되지 않는다.

그리고 이미 공짜로 놓인 500억 원

그렇다면 물려받는 쪽의 값어치를 세어 보자. Qwen3-8B는 파라미터당 약 4,500토큰을 먹은 모델이다. ⑩편의 단가로 이 학습을 재현하는 데 드는 돈을 계산하면 약 50억 원이다.

그게 무료로 공개돼 있다. ⑪편에서 본 SKT의 결과 — 밑바닥 34B가 남의 72B에 CPT한 것에 모든 축에서 졌다는 사실 — 은 이 관점에서 당연하다. 한쪽은 2억을 썼고 다른 쪽은 남이 쓴 수백억을 물려받은 뒤 2백만 원을 얹었다.

1년 예산 5억 원을 어떻게 나눌 것인가

지금까지의 모든 숫자를 하나의 예산표로 접으면 이렇게 된다.

항목	비중	근거
사람 · 데이터 · 평가	약 46%	프런티어 총비용 구성에서도 인력이 29~49%(⑩편)
사후학습(RL·SFT)	약 12%	업계 비중 4~10%의 상단, 천장 A를 15%로 먼저 측정
CPT · 토크나이저 · 어닐링	한 자릿수 %	7B/20B 토큰 CPT가 ₩243만(⑩편)
서빙 인프라	나머지 대부분	가동률이 원가를 8배 흔든다
처음부터 사전학습	1% 미만	애초에 5억으로는 7B 하나도 못 만든다

최종 의사결정 시트

누적 요청 수를 먼저 적어라. 10억을 넘길 것 같으면 모델 형상을 "더 작고 더 오래"로 잡아라(④편). 다만 그게 자체 학습을 정당화하지는 않는다.
파인튜닝·양자화 계획이 있으면 D/N을 2,000~2,500 아래로. 그리고 배포할 정밀도로 벤치마크하라(⑤편).
한국어 고유 토큰이 1,440억에 못 미치면 답은 CPT다. 그 경계는 전이 스케일링 법칙이 주는 숫자이고, 대부분의 국내 팀이 그 아래에 있다(⑦편). 그 CPT는 전체 파라미터로 하고(LoRA 금지), 원본 데이터를 5% 섞어라 — 그것만으로 망각의 71%가 사라진다(⑪편).
토크나이저를 먼저 고쳐라. 학습비·추론비·컨텍스트에 동시에 작용하는 유일한 항목이다(⑦편).
MoE를 쓸 수 있으면 써라. 서빙 원가가 활성 파라미터에 붙으므로, 총 30B/활성 3B가 7B dense보다 싸다(⑧·⑬편).
RL은 15%를 먼저 쓰고 천장을 읽어라. 안 오르면 더 붓지 말고 base를 바꾸거나 증류로 가라.
그래도 직접 계수를 적합하고 싶다면 $1,800이다. 그건 거의 언제나 남는 투자다(⑫편).
그리고 로깅하라. 스텝별 손실, 토큰과 바이트, 비임베딩 M, MFU, 시드, 데이터 스냅샷 해시. 최종 손실 하나만 저장하는 게 가장 흔하고 가장 비싼 실수다.

마지막으로

열세 편을 관통하는 문장을 하나만 남긴다면 이것이다. 친칠라의 20:1은 물리 상수가 아니라 (모델 크기 구간 × 스케줄 × 데이터 품질 × 목적함수)의 함수였고, 우리는 그 네 변수가 전부 다른 자리에 서 있다. 국내 어느 팀도 20:1을 지키지 않는 건 무지가 아니라 계산이다.

그리고 그 계산의 끝에는 겸손한 결론이 있다. 자체 LLM은 2억 원짜리 문장이고, 한국어 특화는 240만 원짜리 문장이며, 후자가 전자를 이긴 실측이 국내에 이미 있다. 2억을 아껴 서빙 가동률을 고치고, 마지막 10%의 데이터를 갈아엎고, 토크나이저를 다시 짜라. 스케일링 법칙이 답해 주지 않는 그 일들이 실제 의사결정의 대부분이다.

그리고 남의 숫자로 결정하지 말자. 벤치마크 점수는 누가 돌렸느냐에 따라 10점씩 흔들리고, 대기업 논문의 계수도 틀린다. 우리 팀의 계수는 우리 로그에서만 나온다.

— 친칠라 법칙 시리즈 ⑬ (완결) / 관련 시리즈: LLM 서빙 캐싱(추론 비용), RAG 종류 총정리, RAG 실전, 에이전트 설계, 사용자 의도 분석과 LLM 라우팅

친칠라 법칙 ⑫ — 우리 팀의 스케일링 법칙을 $1,800에 적합하기

②편의 결론은 "남의 계수를 베낄 수 없다"였다. 같은 방법론에 데이터만 바꿔도 지수가 0.450에서 0.578로 움직이니까. 그러면 직접 적합해야 하는데, 친칠라가 400개 모델을 돌렸다는 얘기를 들으면 포기하게 된다. 그럴 필요 없다. 이번 편은 스케일링 법칙 적합의 실제 견적서다.

모델 5개면 된다 — 그리고 오차 4%가 바닥이다

기준점은 485개 공개 모델로 1,000개 이상의 스케일링 법칙을 적합한 연구다. 결론 세 줄이 이 편의 뼈대다.

"모델 5개면 안전한 선택이고, 더 많으면 견고성이 올라간다. 이 모델들은 작아도 된다."
상대오차(ARE) 4%가 현실적으로 얻을 수 있는 최선이다. 이유는 초기화 시드만 바꿔도 손실이 최대 4%까지 흔들리기 때문이다. 그 아래를 노리는 건 노이즈를 쫓는 것이다.
동시에 오차 20%짜리 법칙도 쓸모가 있다. "A 데이터가 B보다 낫다", "이 아키텍처가 저것보다 낫다" 같은 판정에는 충분하다.

그리고 가장 값싼 정확도 개선이 여기 있다 — 학습 초반 10B 토큰 구간의 체크포인트를 버려라. 이것만으로 OPT·Pythia처럼 오차가 15%를 넘던 경우가 4~10%로 떨어진다. 코드 세 줄이다.

부수적으로 나온 반직관적 조언 하나 — 큰 모델 1개보다 작은 모델 여러 개가 나을 때가 있다. 시드 분산 때문이다. 예산이 빠듯할수록 이 사실이 유리하게 작동한다.

스윕을 망치는 건 스케일이 아니라 하이퍼파라미터

②편에서 봤듯 소규모 모델의 하이퍼파라미터를 튜닝하지 않으면 지수 자체가 왜곡된다. 이를 구조적으로 막는 게 muP인데, muP를 "성능 기법"으로 오해하는 경우가 많다. Cerebras-GPT의 숫자가 정확한 그림을 준다.

손실 개선 0.43%, 다운스트림 +1.7% — 성능 이득은 소박하다.
그런데 자기 스케일링 법칙 대비 표준편차가 muP 0.04% vs 표준 파라미터화 0.66%다. 16배 조용하다.

muP의 진짜 가치는 성능이 아니라 분산이다. 오차 4%가 바닥인 게임에서 노이즈를 16분의 1로 줄이는 도구는 성능 향상보다 훨씬 값지다. 튜닝 비용도 싸다 — 40M 프록시에서 전이한 하이퍼파라미터로 GPT-3 6.7B 공개 성능을 넘겼고, 튜닝 비용은 사전학습의 7%였다. 국내에서는 네이버 HyperCLOVA X THINK가 μP를 명시한 사례다.

다만 반전이 있다. DeepMind가 수만 개 모델, 최대 26.8B로 검증한 결과는 "muP만 하이퍼파라미터 전이가 가능한 게 아니다"였다 — 레이어별 학습률을 쓴 표준 파라미터화가 muP를 능가하기도 했다. 어느 처방이냐보다 일관되게 쓰는 것이 중요하다. 그리고 무엇을 쓰든 coord check(폭을 128에서 2048까지 키우며 레이어별 활성값이 폭에 무관한지 확인)는 반드시 통과해야 한다. 여기서 실패하면 이후 스윕이 전부 무의미하다.

배치 크기 처방에는 함정이 하나 있다. ②편에서 Porian이 부수적으로 얻은 값이 B ∝ N^0.28~0.32였는데, 이걸 그대로 스윕에 적용하면 결과가 망가진다.

이유는 이렇다. 컴퓨트 최적 궤적 위에서는 N과 D가 함께 커지므로 "B를 N에 묶는다"와 "B를 D에 묶는다"가 같은 곡선이다. 그런데 IsoFLOP 밴드 안에서는 C가 고정이라 D = C/(6N)이고, N을 키우면 D가 줄어든다. 두 처방의 부호가 정반대가 된다. 이때 N 기반 처방을 쓰면 큰 N 지점이 부당하게 불리해져 포물선 최저점이 왼쪽으로 밀린다.

정답은 후자다. 임계 배치 크기는 모델 크기가 아니라 데이터 크기를 따라 스케일한다는 것이 이 케이스를 겨냥한 결론이다. 실용적인 형태는 MiniCPM의 bs = 1.21×10⁹ / L^6.24인데, 손실이 N과 D를 모두 요약하므로 셋을 통합한다. 같은 연구에서 10배 크기 변화에도 최적 base 학습률이 약 0.01로 거의 불변이었다.

WSD가 규칙을 바꿨다 — 중간 체크포인트가 공짜 데이터가 된다

전통적인 코사인 스케줄에서는 런 하나가 데이터포인트 하나다. 중간 체크포인트는 학습률이 아직 높아 "미완성"이라 쓸 수 없기 때문이다. WSD(Warmup-Stable-Decay)가 이걸 뒤집는다 — 안정 구간의 아무 지점에서나 짧은 감쇠만 붙이면 완성된 모델이 나오므로, 런 하나에서 여러 개의 적합 데이터포인트를 뽑을 수 있다. 스윕 비용이 제곱에서 선형으로 떨어진다.

실무 수치 하나만 기억하면 된다 — 감쇠 구간은 총 토큰의 10%가 필요하고, 2.5%로는 부족하다. 그리고 여기서 더 나간 연구는 학습률 어닐링을 손실 함수에 직접 넣어 1~2회 런만으로 임의 스케줄·임의 스텝의 손실을 예측하는데, 친칠라 방식 대비 컴퓨트가 약 1%다.

손실이 아니라 벤치마크를 예측해야 돈이 된다

경영진이 궁금해하는 건 손실 값이 아니라 "그래서 KMMLU가 몇 점 나오느냐"다. 여기에 두 가지 함정이 있다.

첫째, 정확도에 직접 적합하면 계단이 생긴다. 이른바 "창발적 능력"의 상당 부분이 지표 선택의 산물이라는 것이 밝혀져 있다 — 불연속 지표(정확도)는 계단을, 연속 지표는 매끄러운 개선을 만든다. 심지어 지표를 조작해 비전 네트워크에서 창발을 인위적으로 만들어 낼 수도 있었다. 적합용 프록시는 반드시 연속 지표여야 한다(정답 토큰의 로그우도 등).

둘째, 2단계로 예측해야 한다. (모델·데이터) → 중간 손실 → 태스크 정확도. AI2의 "모델 사다리" 연구가 이 방식으로 타깃 컴퓨트의 1%만 쓰고 7B@4T·13B@5T 모델의 객관식 태스크 정확도를 절대오차 2%p 이내로 예측했다. 다만 체크포인트 간 지표 분산이 큰 태스크일수록 예측 오차가 크다는 단서가 붙는다.

한국어에서는 x축과 D의 단위부터 다시 정해야 한다

②편에서 Kaplan과 친칠라를 갈라놓은 게 임베딩 카운트였다는 걸 봤다. 한국어 모델에서는 이게 훨씬 심각하다.

어휘 10만 × d_model 768 = 임베딩만 76.8M. 사다리 하단(수천만 파라미터)에서는 임베딩이 본체보다 크다. 그러니 x축을 파라미터 수가 아니라 비임베딩 M = 72·n_layer·d_model² + 12·n_layer·d_model·l_seq로 잡아야 한다. 한국어에서는 선택이 아니라 필수다.
토크나이저를 바꾸면 D의 단위가 바뀐다. 같은 한국어 문서가 HyperCLOVA X에서는 676토큰, GPT-4에서는 1,420토큰이다. "20 tokens/param"의 20이 토크나이저에 따라 이동한다는 뜻이다. 토큰과 바이트(또는 문자) 두 축으로 모두 적합해 두라.
그리고 압축률 2배 좋은 토크나이저는 같은 컴퓨트로 2배의 정보를 넣는 것이므로, 데이터 품질 개선과 동등하게 취급해야 한다 — 즉 지수 a를 끌어올린다.

견적서 — 실비 얼마면 되나

⑩편의 기준(H100 dense 989.5 TFLOPS, MFU 40%, VESSL $2.98/시간)으로 환산하면 GPU-시간당 1.425×10¹⁸ FLOPs다. 이 환율로 레시피의 실비를 계산하면 이렇다.

단계	실비
공짜 사전조사(공개 모델로 태스크 선별)	0
muP 셋업 + coord check	< $20
학습률·배치 프록시 스윕(폭 3종 × 54런)	$10~50
IsoFLOP 본 스윕(6밴드 × 6~8점, 최대 1e20)	약 $1,800 (약 600 GPU-시간)
시드 반복(하위 3밴드 × 3시드)	약 $110
적합(2가지 방법 교차 + 부트스트랩 CI)	0 (CPU)
홀드아웃 검증 런(스윕 최대의 10배)	약 $2,090
다운스트림 사다리(체크포인트 재사용)	$0

즉 본 스윕이 $1,800, 검증까지 합쳐도 $4,000 남짓이다. 국내 비교 기준점으로 Trillion-7B가 공개한 실제 학습비가 59.4K H100-시간 / $148K인데, 이 레시피 전체가 그 3% 미만이다. 스케일링 법칙 적합은 이미 중소 팀 예산 안에 있다.

그런데 적합하지 말아야 할 때도 있다

가장 값싼 조언은 "안 해도 되는 경우를 알아두라"는 것이다.

데이터셋 후보의 순위만 알고 싶다면 법칙을 적합하지 마라. 25개 사전학습 레시피를 비교한 DataDecide의 결과에 따르면, 단일 150M 지점의 순위가 1B 타깃의 최적 데이터셋을 약 80% 맞힌다. 그리고 테스트한 8개의 스케일링 법칙 방법 중 어느 것도 이 단순한 베이스라인을 능가하지 못했다. MMLU·ARC·HellaSwag 같은 지표는 컴퓨트의 0.01%로 80% 이상 예측됐다.
다만 이 결과의 범위를 정확히 알아야 한다 — DataDecide가 답한 건 "어느 데이터셋인가"이지 "어떤 비율인가"가 아니다. 25개 레시피 중 혼합 비율을 바꾼 건 세 점뿐이고, 논문은 그 부분집합의 정확도를 따로 보고하지 않는다. 비율 탐색은 ⑦편에서 본 RegMix식 접근(목표 런의 약 2%)으로 따로 풀어야 한다.
다운스트림 정확도에 직접 적합하지 마라. 불연속 지표에 적합하면 계단이 생기고, 그게 이른바 "창발"의 상당 부분이다. 지표를 연속형으로 바꾸면 사라진다. 반드시 (모델·데이터) → 손실 → 정확도의 2단계로 가고, 프록시는 연속 지표(정답 토큰 로그우도 등)를 쓰라. AI2의 모델 사다리가 이 방식으로 타깃 컴퓨트의 1%만 쓰고 7B@4T·13B@5T의 객관식 정확도를 절대오차 2%p 이내로 예측했다.

마지막으로 함정 체크리스트를 남긴다. ① coord check 미통과(IsoFLOP 포물선이 비대칭이면 의심). ② 적합 구간이 좁음(밴드는 최소 2.5 오더). ③ 초기 체크포인트 오염(첫 10B 토큰 제거). ④ 시드 노이즈(3시드로 측정하고, 오차 4% 미만을 목표로 삼지 말 것). ⑤ 불연속 지표. ⑥ 임베딩 오염(비임베딩 M 사용). ⑦ 과신하는 신뢰구간 — ①편의 폭 0.001 사건이 대기업 논문에서도 일어난다. 반드시 두 가지 적합법을 교차하고 부트스트랩으로 신뢰구간을 직접 구하라. 두 방법이 불일치하면 멈추고 데이터를 의심하라.

그리고 로깅은 아끼지 마라. 스텝별 손실, 소비 토큰과 바이트 둘 다, 비임베딩 M, 총 FLOPs, 학습률·배치, grad norm, MFU, 시드, 데이터 스냅샷 해시, 체크포인트별 연속 다운스트림 지표. 최종 손실 하나만 저장하는 것이 가장 흔하고 가장 비싼 실수다.

— 친칠라 법칙 시리즈 ⑫ / 다음 글: 2026년의 예산표 — 사전학습 : 사후학습 : 테스트타임 (완결)

친칠라 법칙 ⑪ — 아무도 친칠라를 지키지 않았고, 아무도 밑바닥부터 만들지 않았다

이론은 여기까지다. 국내 대기업 여섯 곳의 기술 리포트를 열어 파라미터·토큰·FLOPs를 전부 계산해 봤다. 결론은 두 문장으로 요약된다. 친칠라 최적을 지킨 팀은 하나도 없다. 그리고 최신 모델을 처음부터 만든 팀도 하나도 없다.

실측 토큰/파라미터 배율

모델	파라미터 / 토큰	배율
SKT A.X 3.1	34B / 2.1T	62×
KT Mi:dm 2.0 Mini	2.3B / ≈331B	144×
LG EXAONE 3.5 32B	32B / 6.5T	203×
LG EXAONE 4.0 32B	32B / 14T	437×
LG K-EXAONE (활성 기준)	23B 활성 / 11T	478×
LG EXAONE 3.0	7.8B / 8T	1,026×
LG EXAONE 3.5 7.8B	7.8B / 9T	1,154×
LG EXAONE 3.5 2.4B	2.4B / 6.5T	2,708×
LG EXAONE 4.0 1.2B	1.2B / 12T	10,000×

가장 낮은 값이 62배다. 친칠라의 20배는 국내 실무에서 하한선조차 아니다. 온디바이스용 1.2B는 최적의 500배를 먹였는데, ⑤편에서 봤듯 그 자리가 하필 양자화가 가장 안 먹는 구간이다.

그리고 이 표에서 가장 이상한 줄은 EXAONE 3.5다. 7.8B 모델에 9T 토큰을 먹이고, 32B 모델에는 6.5T를 먹였다. 작은 모델이 큰 모델보다 더 많이 학습했다. 친칠라라면 정반대여야 한다. 실수가 아니라 ④편에서 본 추론 인지 스케일링의 교과서적 구현이다 — 작은 모델일수록 많이 팔리고 서빙 비용은 파라미터에 비례하니, 작은 모델에 학습비를 더 태우는 게 총비용 최적이다. "학습 1회, 추론 무한회"의 산수가 스케일링 법칙을 이겼다는 국내 최고의 실물 증거다.

참고로 EXAONE 3.5는 세 모델의 FLOPs를 전부 공개했는데(1.25e24 / 4.21e23 / 9.36e22) 셋 다 6ND와 정확히 일치한다. 카카오 Kanana는 아예 그림 캡션에 "6 × 학습 토큰 × 모델 크기"라고 적어 놓았다.

그런데 국내 모델의 절반은 이 비율을 계산할 수 없다

위 표를 만들면서 확인한 사실 하나를 정직하게 밝혀야 한다. Depth Up-Scaling이나 upcycling으로 만든 모델에는 토큰/파라미터 비율을 쓸 수 없다.

예를 들어 카카오 Kanana Flag 32.5B를 "3T 토큰 ÷ 32.5B = 92배"로 계산하면 틀린다. 32.5B 모델이 3T를 본 게 아니다. 26.8B 모델이 3T를 봤고, 그걸 32.5B로 부풀린 뒤 200B만 추가로 봤다. 같은 문제가 K-EXAONE 2.0(236B → 750B), KT Mi:dm 2.0 Base(8B급 → 11.5B), 업스테이지 Solar Pro(Phi-3-medium 14B → 22B), Llama-3-Motif(70B → 102B)에 전부 해당한다.

즉 국내 모델의 절반은 "이 모델은 파라미터당 몇 토큰을 봤나"라는 질문이 정의되지 않는 모델이다. 이건 결함이 아니라 이 시리즈가 다루는 현상 그 자체다 — 국내 팀들은 친칠라의 좌표계 자체를 떠났다.

여섯 팀이 같은 레시피로 수렴했다

리포트를 나란히 놓으면 골격이 하나로 겹친다 — ① 중간 크기 base 확보 → ② Depth Up-Scaling으로 부풀리기 → ③ Pruning + Distillation으로 작은 모델 뽑기.

팀	① base	② 부풀리기	③ 줄이기
업스테이지	Mistral 7B	DUS → 48층 10.7B	—
카카오	8B / 26.8B	DUS → 9.8B / 32.5B	8B → 2.1B
KT	8B급(32층)	DUS → 48층 11.5B	→ Mini 2.3B
네이버	THINK (6T)	—	→ SEED Think 14B
LG	K-EXAONE 236B	upcycle → 750B	—
모티프	Llama 3 70B	→ 102B (194B 토큰)	—

절감률을 숫자로 공개한 건 카카오가 가장 구체적이다 — Depth Up-Scaling은 처음부터 학습 대비 총 컴퓨트를 11.06% 절감했고(각 200B 토큰만 추가), Pruning + Distillation은 2.1B 모델을 0.3T 토큰으로 만들었다 — 처음부터 학습(3T)의 10분의 1이면서 성능은 더 좋았다. 그 결과 Kanana Flag 32.5B의 총 학습 컴퓨트가 Llama 3.1 8B보다도 낮다.

그리고 국내 최대 규모 모델조차 처음부터 학습이 아니다. LG의 K-EXAONE 2.0(총 750B / 활성 37B)은 236B MoE를 깊이 48→78층, 폭 128→256 전문가로 부풀린 것이다. 전문가를 복제할 때 무작위 회전 노이즈로 대칭을 깨는 기법까지 동원했다. 국내 최대 모델의 정체는 재활용이다.

국내 유일하게 공개된 원화 숫자: 902만 원

⑩편에서 국내 클라우드가 GPU 가격을 공개하지 않는다고 했는데, 학습 비용도 마찬가지다. 금액을 공개한 국내 리포트는 사실상 하나뿐이다 — 네이버 HyperCLOVA X SEED의 모델카드다.

모델	A100 GPU-시간	비용
HyperCLOVA X SEED 0.5B	4,358	$6,537 (약 902만 원)
Qwen2.5-0.5B-instruct	169,257	$253,886
SEED Think 14B	68,049	약 $102,000 (약 1.4억 원)
Qwen3-14B	6,267,077	—

네이버가 주장한 절감률은 0.5B에서 39배, 14B에서 92배다. 정직하게 짚을 단서가 있다 — 자기 모델은 증류 비용만 세고, Qwen은 처음부터 학습한 전체 비용을 셌다. 공정한 벤치마크가 아니다. 하지만 그래서 오히려 이 시리즈의 요지에 정확히 맞는 증거가 된다. 같은 결과물을 만드는 데 전략이 다르면 비용의 자릿수가 바뀐다.

이식이 밑바닥보다 싸고, 심지어 더 강하다

이 시리즈에서 가장 실무적인 질문이 여기 있다 — 처음부터 학습할 것인가, 남의 모델 위에 한국어를 얹을 것인가. 운 좋게도 SKT가 같은 시기에 양쪽을 다 만들어 공개했다.

벤치마크	A.X 3.1 (밑바닥 34B, 2.1T)	A.X 4.0 (Qwen2.5-72B에 CPT)
KMMLU	69.73	78.32
CLIcK (한국 문화)	77.09	83.51
MMLU	75.20	86.62

밑바닥에서 2.1T를 태운 34B가 남의 72B에 한국어를 얹은 것보다 모든 축에서 졌다. A.X 4.0의 KMMLU 78.32는 GPT-4o의 72.51보다 높다.

물론 파라미터가 34B와 72B로 두 배 차이 나므로 순수한 방법론 비교는 아니다. 하지만 그게 요점이다 — 같은 예산으로 34B를 밑바닥부터 만들 수 있었다면, 그 예산으로 72B급 base를 받아 CPT하는 편이 나았다. 밑바닥 학습은 파라미터 상한을 예산이 정하지만, 이식은 남이 이미 태운 컴퓨트를 물려받는다.

더 극단적인 예가 모티프다. Llama 3 70B를 102B로 부풀린 뒤 194B 토큰(한국어:영어 9:1)만 추가했다. EXAONE 4.0 32B가 먹은 14T의 1.4%다. 결과는 KMMLU 64.74%로 GPT-4o(64.11%)를 앞섰다. 흥미로운 건 어휘를 128,000 그대로 두고 한국어 토큰을 전혀 추가하지 않았다는 점이다 — ⑦편에서 토크나이저가 무료 점심이라고 했지만, 손대지 않아도 CPT만으로 여기까지 간다는 반례다.

파국적 망각은 생각보다 작다

DNA 1.0 8B(디노티시아): Llama 3.1 8B에 46.8억 토큰만 CPT하고 SFT·병합·증류를 거쳤다. KMMLU 41.7 → 53.26 (+11.56%p), MMLU 68.2 → 66.64 (−1.56%p). 한국어를 11.6점 얻고 영어를 1.6점 냈다. 컴퓨트로는 약 2.2×10²⁰ FLOPs로 EXAONE 3.5 32B의 약 5,700분의 1이다.
EEVE(야놀자): 한국어 토큰 8,960개를 추가해 어휘를 40,960으로 늘리고 단 20억 토큰으로 끝냈다. H100 8장으로 2.8B 변형은 이틀 미만. 한영 통합 평균 0.7045를 기록하면서 영어 BoolQ 0.8492를 유지했다(리포트가 제시한 0.7045는 한국어 단독 평균이 아니라 한영 합산 평균이라는 점은 짚어 둔다). 비결은 7단계 파라미터 동결 커리큘럼(새 임베딩부터 차례로 열어 주는 순서)이다. 비용은 대략 150~200만 원으로 추정된다.

논문의 표현대로 "새 임베딩에 조 단위 토큰이 필요하다는 통념과 대비되는" 결과다. 스타트업이 실제로 집행할 수 있는 금액이다.

망각을 더 줄이는 방법도 정량화돼 있다. 원본 분포 데이터를 얼마나 섞어 되먹이느냐(replay)가 핵심인데, 효과가 놀랍도록 가파르다.

1%만 섞어도 망각이 절반으로 줄어든다.
5%면 망각의 71%가 사라진다.
25%면 전체 재학습과 동등한 수준이 되는데, 목표 언어 성능의 대가는 0.05 nats에 불과하다.

CPT를 할 때 원본 데이터를 5% 섞는 것은 사실상 공짜다. 그리고 여기서 반대 방향의 경고도 하나 — CPT를 LoRA로 하면 안 된다. 랭크를 256까지 올려도 전체 파라미터 학습 대비 3.9~9.1점 뒤처지고, 토큰을 더 넣어도 그 격차가 좁혀지지 않는다. ⑩편에서 LoRA가 8천 원이라고 했지만, 그건 지시 튜닝(SFT)의 가격이지 언어 능력을 새로 넣는 값이 아니다.

덧붙여 국내 리포트를 읽을 때의 주의점 하나. 모티프 102B는 한국어 9:1로 194B 토큰을 태우고도 영어 벤치마크를 하나도 보고하지 않았다. 망각이 발생했다면 정확히 거기서 측정됐어야 할 설정인데 그 표가 없다. 이 시리즈가 인용하는 모든 국내 벤치마크에 같은 종류의 주의가 필요하다 — 보고되지 않은 축이 곧 약한 축일 가능성이 높다.

국가는 스케일링 결정을 평가표로 대체했다

마지막으로 독자 파운데이션 모델 사업(독파모)의 경과를 짚어 둔다. 2025년 5개 정예팀(네이버클라우드·LG·SKT·업스테이지·NC AI)으로 시작해 2026년 1월 1차 평가에서 네이버클라우드와 NC AI가 탈락, 2월에 모티프가 추가됐고, 2026년 8월 2차 평가에서 모티프가 탈락했다.

2차 점수: SKT 70.6 / 업스테이지 69.9 / LG 69.0 / 모티프 65.8
배점은 벤치마크 40점(AAII 25 + NIA 15) + 전문가 35 + AI전문사용자 15 + 일반국민 10.
항목별 1~4위 격차는 벤치마크 4.0, 전문가 2.4, 사용자 5.0으로 사용자 평가가 가장 컸다.
모티프는 AAII 국내 1위(47점)를 받고도 전문가·사용자에서 깎여 최하위가 됐고, 공식 이의를 제기했다.
3차 진출팀 GPU는 B200 상반기 768장 → 하반기 약 1,000장. 글로벌 최고 대비 격차는 1월 19점에서 8월 16점으로 좁혀졌다.

"무엇을 잘한 것으로 칠 것인가"가 아직 합의되지 않았다는 신호다. 그리고 이건 이 시리즈의 주제와도 맞닿는다 — 벤치마크 1위와 종합 1위가 갈리는 상황에서, 스케일링 법칙이 최적화하는 "손실"이 무엇의 대리변수인지 다시 물어야 한다. 참고로 서강대가 수능 수학으로 별도 평가했을 때는 Kimi K3 92.0% > Solar Pro 4 77.5%로, "한국어 특화"가 곧 "한국 문제를 더 잘 푼다"는 아니라는 결과가 나왔다.

리포트가 끝내 말하지 않는 것들

GPU-시간을 공개한 건 네이버 SEED 모델카드뿐. LG·KT·카카오는 FLOPs만, 네이버 본편·SKT·업스테이지는 아무것도 공개하지 않는다.
한국어 토큰 비중을 퍼센트로 밝힌 팀이 없다. HyperCLOVA X의 "균등"과 모티프의 "9:1"이 그나마 구체적이다.
카카오 Kanana는 토크나이저 어휘 크기조차 공개하지 않았다.
HyperCLOVA X 본편(2024)은 파라미터 수와 총 학습 토큰 수 자체를 공개하지 않았고 스케일링 법칙 언급도 없다.

이걸 결함으로만 읽을 필요는 없다. ②편에서 봤듯 지수를 직접 적합하려면 16개 모델 스윕이 필요하고, 그건 소형 랩에 부담이다. "우리가 적합한 지수" 대신 "우리가 쓴 GPU 시간과 절감률"을 보고하는 건 제약 하의 합리적 선택이다. 다만 비교 가능성이 사라진다는 대가가 따르고, 그래서 국내 모델끼리 "누가 더 효율적인가"를 판정할 방법이 사실상 없다.

그렇다면 남의 계수를 베낄 수 없다는 뜻이다. 우리 계수는 우리가 적합해야 한다. 그건 얼마일까 — 다음 편에서 견적을 뽑는다.

— 친칠라 법칙 시리즈 ⑪ / 다음 글: 우리 팀의 스케일링 법칙을 $1,800에 적합하기