2026년 8월, 정부가 독자 AI 파운데이션 모델 사업(독파모) 2차 단계평가 성적을 전부 공개했다. 네 팀이 100점 만점으로 채점됐고, 최하위 한 팀이 탈락했다. 이 시리즈는 그 평가를 해부한다. 결론부터 말하면 배점표를 만든 규칙에 심각한 문제가 있다고 주장할 것이다. 그래서 더더욱, 비판을 시작하기 전에 정부의 산수부터 검산했다.
먼저 이 시리즈 전체의 출처 한계를 밝힌다. 수치는 과기정통부·NIPA 발표와 이를 인용한 보도, 그리고 korea.kr 정책브리핑 원문에서 가져왔다. 평가에 쓰인 문항, 채점 원자료, 환산식은 공개되지 않았으므로 일부는 필자가 역산했고, 그런 값은 전부 필자 계산으로 표기한다.
공개된 점수표
| 팀 | AAII (25) | NIA 벤치 (15) | 전문가 (35) | 전문사용자 (15) | 일반국민 (10) | 총점 |
|---|---|---|---|---|---|---|
| SK텔레콤 | 8.8 | 13.4 | 29.3 | 11.6 | 7.5 | 70.6 |
| 업스테이지 | 9.4 | 13.3 | 29.1 | 10.8 | 7.3 | 69.9 |
| LG AI연구원 | 7.8 | 12.8 | 29.5 | 11.3 | 7.6 | 69.0 |
| 모티프 | 11.9 | 12.7 | 27.1 | 8.4 | 5.7 | 65.8 |
검산 결과부터. 네 팀 모두 다섯 항목의 합이 총점과 소수점까지 정확히 일치한다(8.8+13.4+29.3+11.6+7.5 = 70.6, 나머지 세 팀도 동일). 별도로 발표된 파생 수치들 — 벤치마크 평균 22.5점, 벤치마크 1~4위 격차 4.0점, 사용자 평가 격차 5.0점 — 도 이 표에서 전부 재현된다. 산수는 맞다. 이 시리즈의 논지는 "숫자가 틀렸다"가 아니다. "숫자를 만든 규칙이 틀렸다"다.
표에서 바로 보이는 사실 하나를 짚고 가자. 과기정통부 발표 기준으로 모티프는 벤치마크 소계(AAII+NIA) 1위(24.6/40)이면서 종합 4위로 탈락했다. 벤치마크에서 이기고 사람 평가에서 진 것이다. 이게 정당한 결과인지 아닌지는 아직 판단하지 않는다 — 시리즈가 끝날 때까지 판단을 미뤄 달라. 다만 이 구도가 이 시리즈 전체의 출발점이다.
공개되지 않은 환산식을 역산했다
AAII는 Artificial Analysis Intelligence Index라는 외부 지수다(⑦편에서 해부한다). 이 지수의 원점수를 25점 만점으로 어떻게 바꿨는지, 즉 환산식은 공개되지 않았다. 그래서 역산해 봤다. 평가 시점의 AA 리더보드 원점수를 x라 하고 각 팀의 AAII 항목 점수와 비교하면:
| 팀 / 모델 | AA 원점수 | ÷4 | 발표 점수 | 잔차 |
|---|---|---|---|---|
| 모티프 3 | 47 | 11.75 | 11.9 | +0.06 이내 |
| Solar Open 2 (업스테이지) | 37+ | 9.35 | 9.4 | +0.06 이내 |
| A.X K2 (SKT) | 35 | 8.75 | 8.8 | +0.06 이내 |
| K-EXAONE 2.0 (LG) | 31 | 7.75 | 7.8 | +0.06 이내 |
(필자 계산. AA 원점수는 2026-08 시점 리더보드 값.)
환산식은 "AA 원점수 ÷ 4"다. 네 팀의 잔차가 전부 0.06점 이내이고 부호까지 같다(0.1 단위 올림으로 설명된다). 이보다 잘 맞는 다른 가설은 찾지 못했다 — 예컨대 "세계 최고 모델 대비 정규화" 가설을 대입하면 모티프가 18.8점이 나와야 하는데 실제는 11.9점이다.
이 역산은 부수적으로 흥미로운 사실 하나를 확정한다. 업스테이지가 평가받은 모델은 Solar Pro 4가 아니라 Solar Open 2다. Solar Pro 4의 AA 점수를 4로 나누면 발표 점수와 17배 큰 잔차가 생긴다. Solar Open 2만 맞는다. 언론 보도 다수가 이 구분 없이 썼는데, 두 모델은 다른 모델이다(Solar Open 2는 총 250B/활성 15B의 오픈웨이트 MoE이고, Solar Pro 4는 파라미터가 공식적으로 미공개다).
÷4라는 환산이 무엇을 의미하는지는 잠깐 멈춰서 볼 가치가 있다. AAII를 100점 만점 척도로 취급했다는 뜻인데, 평가 시점 세계 최고 모델의 AAII가 63점이다. 즉 25점 만점 중 15.75점 위로는 지구상 어떤 모델도 도달할 수 없었다. 이 설계가 결과를 바꿨는지는 뒤에서 따로 계산한다(미리 말하면: 바꾸지 않았다 — 그래서 더 흥미롭다).
이 평가에 걸려 있던 것
이건 리더보드 순위 놀이가 아니었다. 2차 평가를 통과한 세 팀은 하반기 B200 약 1,000장 규모의 GPU를 배정받고, 탈락한 모티프는 받지 못한다. 1차에서는 다섯 팀 중 네이버클라우드와 NC AI가 탈락했다. 국가가 종합점수로 줄을 세워 하위 팀의 자원을 끊는 토너먼트 구조이고, ⑨편에서 보겠지만 이 구조를 쓰는 나라를 다른 곳에서는 찾지 못했다.
그리고 탈락한 모티프는 2026-08-27 공식 이의를 제기했고, 이의 결과와 무관하게 3차에 불참하겠다고 밝혔다. 정부의 공식 답변은 이 글을 쓰는 시점(2026-08-31)까지 공개되지 않았다.
이 시리즈가 하려는 것
미리 선을 그어 둔다. 이 시리즈는 "잘못된 팀이 탈락했다"고 주장하지 않는다. 그건 필자가 알 수 없는 일이다. 이 시리즈가 주장할 것은 다음이다 — 이 평가는 결과가 옳았는지 아무도 확인할 수 없게 설계됐고, 그 설계 결함들은 하나하나 지목할 수 있으며, 고치는 비용은 놀랄 만큼 싸다. 그리고 마지막 두 편에서는 비판을 넘어, 우리 회사가(그리고 다음 국가 사업이) 그대로 쓸 수 있는 평가 프로토콜과 원화 가격표를 내놓는다.
왜 이걸 파는가. 필자도 LLM을 만들고 있고, 언젠가 누군가의 평가표 위에 올라갈 것이기 때문이다. 남의 평가를 해부해 보는 것이 내 평가 기준을 세우는 가장 빠른 길이다.
다음 질문은 이것이다 — 이 100점 중에서, 실제로 순위를 가른 점수는 몇 점이었을까. 배점표에 적힌 숫자와 실제로 작동한 숫자는 다르다.
— 독파모 평가 해부 ① / 다음 글: 100점 중 15점은 아무 일도 하지 않았다
댓글 없음:
댓글 쓰기
국정원의 댓글 공작을 지탄합니다.