독파모 평가 해부 ⑦ — 25점을 건 계측기를 뚯어봤다: AAII

회사에서 성과급의 25%를 외부 SaaS 대시보드의 숫자 하나에 연동하기로 했다면, 당신은 계약 전에 그 숫자의 계산식을 볼 것이다. 독파모는 100점 중 25점을 Artificial Analysis Intelligence Index(AAII)에 걸었다. 그래서 그 계산식을 뜯어봤다.

이 지수는 무엇을 재는가 — "지능"이 아니라 에이전트 작업 수행

평가 시점의 현행 버전 v4.1.1은 9개 벤치마크, 4개 범주로 구성된다.

범주	구성	비중
에이전트	GDPval-AA v2 20% + τ³-Banking 14%	34%
코딩	Terminal-Bench v2.1 16% + SciCode 8%	24%
과학 추론	HLE 12% + GPQA Diamond 6% + CritPt 6%	24%
일반	AA-Omniscience 12% + AA-LCR 6%	18%

에이전트+코딩이 58%다. 이건 "지능 지수"라기보다 에이전트 워크플로 수행 지수다. 그 자체로 나쁜 게 아니다 — 문제는 이 구성이 "독자 파운데이션 모델"의 국가적 목표(한국어 능력, 산업 활용성)와 어떻게 대응하는지 아무도 설명하지 않은 채 25점이 배정됐다는 것이다. 참고로 한국어 관련 항목은 0%다.

계측기로서의 상태

• 최대 비중 항목(GDPval-AA v2, 20%)의 반복 횟수는 1회다. Elo 방식이고, 기준 점수는 "모델이 추가된 시점에 동결"된다.
• 공개 변경이력이 없다. 방법론 페이지에 버전 히스토리 섹션이 없고, 공개 API에는 시계열 조회도 버전 필드도 없다. 그래서 "지수 구성이 바뀔 때 과거 점수가 재계산되는가"라는 기본적인 질문에 외부에서 답할 수 없다. 실제로 AAII 점수를 인용한 논문 두 편이 둘 다 버전 표기 없이 인용했다 — 몇 달 뒤 그 숫자는 재현 불가능해진다.
• 지수의 약 74%는 외부에서 재현할 수 없다. 문항이 완전 공개된 구성 요소는 HLE(12%) + SciCode(8%) + GPQA Diamond(6%) = 26%뿐이다.

그리고 가장 심각한 것. 구성 요소 하나가 감사 결과 계측기로서 고장나 있었다. 2026-08-05 공개된 SciCode 감사 논문은 65개 문제에서 263건의 결함을 찾았고, 그중 192건이 정답을 오답으로 판정하는 채점기 결함이었으며 주 문제의 91%가 영향을 받았다. 채점을 고치자 정확도가 9~27%에서 69~92%로(+60~83%p) 뛰었다. SciCode는 AAII의 8%다. 그리고 이 논문의 공개일(08-05)은 독파모 평가 기간(08-04~11로 보도됨)과 겹친다. 평가에 쓰인 AAII 값이 수정 전 SciCode를 포함했다면, 국가 평가의 25점 중 일부가 고장난 채점기 위에서 계산된 것이다 — 어느 시점의 값을 썼는지는 공개되지 않았으므로 이건 확인을 요구하는 질문으로 남긴다.

공정하게: AA가 잘하는 것

비판만 하면 절반짜리 글이다. Artificial Analysis는 몇 가지를 업계 누구보다 잘한다.

• 비용·속도 실측. 하루 8회 측정, 72시간 P50 중앙값 보고. 품질-가격-속도를 한 화면에 놓는 곳은 사실상 여기뿐이고, 이건 진짜 공공재다.
• 벤더 자기보고에 대한 대항 축. 제조사가 체리피킹한 점수 대신 제3자가 같은 조건으로 돌린 값을 준다. 실제로 모티프의 자기보고 16개 중 9개가 AA 측정치와 소수점까지 일치했다 — AA가 있어서 검증이 가능했던 것이다.
• 합성 지표에 신뢰구간 추정을 공개하고(±1% 미만 주장), 자체 하네스를 MIT 라이선스로 공개한다.

AA는 좋은 도구다 — 엔지니어의 모델 선택 도구로. 이 시리즈의 주장은 "AA가 나쁘다"가 아니라 "버전 관리도 재현성도 보장되지 않는 외부 상용 지수에 국가 예산 배분의 25%를 거는 것은 용도 오류"라는 것이다.

그리고 한국 모델은 3축 중 1축만 측정됐다

AA의 설계 철학은 지능·가격·속도의 3축 트레이드오프다. 그런데 국산 오픈웨이트 모델의 AA 페이지를 보면 — 모티프 3 기준 — 지능 47, 가격 $0.00, 속도 N/A다. 상용 API가 아니니 가격·속도 축이 비어 있고, 속도 측정 인프라 자체가 미국 GCP 리전 한 곳에서 돌아가므로 국내 서빙과 무관하다. 정부는 3축짜리 도구에서 마침 값이 채워진 1축만 떼어 25점을 매겼다.

덧붙여 ①편의 환산 문제를 다시 보자. AA 원점수 ÷ 4는 AAII를 100점 만점으로 취급한 것인데 세계 최고가 63점이다. ②편에서 확인했듯 이 압축을 고쳐도 순위는 안 바뀐다 — 하지만 "고쳐도 안 바뀐다"는 것을 확인하는 계산조차 정부가 아니라 외부인이 해야 했다는 게 이 시리즈의 반복되는 패턴이다.

이 편의 규칙 — 우리 회사용

1. 외부 지수를 의사결정에 쓰려면 버전을 고정하고 기록하라. "AAII 47점"이 아니라 "AAII v4.1.1, 2026-08-31 조회, 47점".
2. 재현 불가능한 지표에는 상한 비중을 둬라. 우리가 다시 돌려볼 수 없는 숫자에 큰 결정을 걸지 않는다.
3. 합성 지수는 분해해서 봐라. "지능 1점"이 에이전트 과제에서 온 것인지 장문 이해에서 온 것인지에 따라 우리 서비스와의 관련성이 완전히 다르다.

AAII 25점은 그래도 제3자 측정이었다. 다음 편은 더 근본적인 공백이다 — 이 사업의 이름이 '독자 AI'인데, 정작 한국어 능력 점수는 전부 자기가 매긴 것이다.

— 독파모 평가 해부 ⑦ / 다음 글: '한국어 능력'을 검증한 제3자가 아무도 없다