독파모 평가 해부 ⑧ — 한국어 능력을 검증한 제3자가 아무도 없다

사업의 이름은 "독자 AI 파운데이션 모델"이다. 존재 이유가 한국어와 한국 산업이라는 뜻이다. 그런데 이 시리즈를 준비하며 네 팀의 공개된 한국어 벤치마크 점수의 출처를 전수 추적한 결과가 이렇다. 전부 자기가 매긴 점수다.

영어는 제3자가 재고, 한국어는 아무도 안 잰다

영어권 능력은 Artificial Analysis가 네 팀 모델 전부를 같은 조건에서 독립 실행했다(⑦편). 그런데 한국어 벤치마크는 제3자 보고도, 독립 재실행도 0건이다. KMMLU든 자체 제작 벤치마크든, 표에 실린 한국어 숫자는 모두 그 모델을 만든 회사가 스스로 돌려 스스로 보고한 값이다.

독립 검증 인프라가 없어서다. 유일했던 공개 한국어 리더보드들의 현재 상태: Open Ko-LLM Leaderboard는 2024-12-09 이후 RUNTIME_ERROR 상태로 멈춰 있고 — 그마저 운영 주체가 평가 대상 기업인 업스테이지였다 — 국립국어원 말평은 2024-09 이후 정지, 또 다른 리더보드는 접속 자체가 막혀 있다. 2026년 한국에는 작동하는 독립 한국어 LLM 리더보드가 하나도 없다.

그 공백을 각 사가 자체 벤치마크로 메운다. LG는 KMMLU-Redux/Pro와 자체 안전성 벤치마크를(자사 모델 99.8점), 업스테이지는 Ko-GDPval 등 자체 세트를(170과제, 비공개), KT도 자체 세트를 만들었다. 벤치마크 제작 자체는 기여다 — 문제는 그다음이다. 자기가 출제한 시험을 자기가 치르고 자기가 채점한 점수들을, 서로 다른 시험끼리 한 표에 놓고 비교하는 것. 이 표가 지금 한국어 모델 담론의 기본 화폐다.

공용 자라는 것들의 상태

"그럼 공용 벤치마크로 재면 되지 않나"가 다음 질문인데, 그 자들의 상태가 이렇다.

• KMMLU — 한국어 대표 벤치마크. 후속 감사(제작진 일부가 참여한 KMMLU-Redux/Pro 논문)가 스스로 밝힌 수치: 테스트셋 결함 문항 7.66%, 내부 중복 5.36%, 학습-테스트 오염 5.46%. 라이선스가 CC-BY-ND라 고친 버전을 만들어 배포할 수도 없다. 그리고 한국 특화 지식을 요구하는 문항은 20.4%뿐 — 나머지는 번역해도 성립하는 일반 지식이다.
• 포화 — CLIcK는 2024년 최고 48.6%에서 2026년 91.6%가 됐다. 현재 국내 상위 모델 간 변별폭이 HRM8K 2.8%p, KorMedMCQA 7.2%p 수준이다. 생성 평가 LogicKor는 "상위권 모델에 대한 변별력이 거의 없어졌습니다"라는 공지와 함께 공식 아카이브됐다. ②편에서 본 NIA 벤치마크의 99.8~100.0 포화는 이 생태계의 일부다.
• 반면 아직 변별하는 자도 있다 — 언어학 전문가가 신작한 KoBALT(최고 0.61), 그리고 한국어 웹 에이전트 과제 K-BrowseComp: 해외 프론티어 30~45.7% vs 국내 모델 0.0~10.3%. 격차가 가장 크게 벌어진 축이 정작 국가 평가에는 없다.

같은 자를 모티프에게도

이 시리즈가 모티프 편이라고 읽혔다면 여기서 교정한다. 모티프 3의 기술 리포트 14.6만 자에는 `KMMLU`가 0회, `Korean`이 1회 등장한다. 한국어 벤치마크 점수를 하나도 싣지 않은 것이다. "독자 AI" 사업에서 벤치마크 종합 1위를 한 모델이 정작 한국어 능력의 공개 증거를 제시하지 않았다 — 이 비판은 정부와 모티프 양쪽을 향한다. 사족으로, 모티프의 영어권 자기보고는 16개 중 9개가 AA 독립 측정과 소수점까지 일치할 만큼 정직했다. 정직한 보고와 빠진 보고는 별개의 문제다.

제3자 평가가 한 번 있었다 — 그리고 그 평가도 같은 자로 재야 한다

공개된 유일한 제3자 한국어 계열 평가가 서강대 수학과 연구팀의 수능 수학 평가다(46문항, 모델당 3회 실행). 여기서 나온 발견 하나는 진짜로 중요하다 — 모델의 1회 정답률과 3회 통합(pass@3)의 격차가 키미 K3는 3.6%p인데 모티프 3는 24.6%p였다. 같은 시험을 세 번 쳤을 때의 편차가 모델마다 7배 다르다는 것으로, ③편의 "반복 없는 측정은 무효"를 국내에서 실증한 값이다.

그런데 이 평가를 인용하려면 이 평가의 한계도 전부 같이 인용해야 공정하다: 모티프만 API가 아니라 웹 채팅 UI로 사람이 손으로 측정했고, SKT는 아예 제외됐으며, 업스테이지는 사업에 제출한 모델이 아닌 상용 모델로 평가됐고, 문항은 영어로 번역됐고, 1번 문항은 지수 표기가 손상돼 모델이 "오타 같다"고 지적했는데 오답 처리됐고, 온도·시드는 미공개이고, 동료평가를 거치지 않았다. 한계가 이만큼 열거될 수 있는 것은 연구팀이 방법을 공개했기 때문이다 — 그 점에서 이 평가는 방법을 공개하지 않은 국가 평가보다 과학에 가깝다. 다만 이 결과로 특정 팀의 탈락을 정당화하는 데 쓰면 안 된다.

없는 것을 만드는 길은 이미 보인다

비판만 하고 끝내지 않기 위해, 한국어 평가의 공백을 메울 재료가 이미 학계에 나와 있다는 것을 적어 둔다.

• KCSAT-ML — 수능 수학 664문항인데, 그중 339문항에는 수십만 명 응시자의 공식 문항별 오답률이 붙어 있다. 모델이 틀리는 문항이 사람이 어려워한 문항인지까지 잴 수 있다(같은 정답률의 두 모델이 완전히 다른 프로파일을 가질 수 있다).
• NOLLI — 시드로 문항을 절차적으로 재생성하는 설계. 오염되면 시드를 바꿔 새 시험지를 뽑는다. 오염 문제의 구조적 해법이다.
• 그리고 무엇보다 — 죽어 있는 독립 리더보드를 국가가 살리면 된다. 평가 대상이 아닌 기관이, 오차막대와 함께, 홀드아웃 문항으로. 그 설계는 ⑪·⑫편에서 다룬다.

다음 질문. 이 모든 문제 — 탈락제, 자기 채점, 죽은 계측기 — 를 다른 나라는 어떻게 다루고 있을까. 7개 관할권을 확인했고, 결론부터 말하면 종합점수로 팀을 자르는 나라를 찾지 못했다.

— 독파모 평가 해부 ⑧ / 다음 글: 탈락시키는 나라는 없었다 — 7개 관할권 비교