독파모 평가 해부 ⑫ (완결) — 청구서: 방어 가능한 평가는 첫해 2,580만 원이다

마지막 편이다. 열한 편의 비판을 한 장의 설계도로 바꾼다. 우리 회사(그리고 어느 회사든)가 그대로 실행할 수 있는 평가 프로토콜과 그 원화 가격표다. 환율 1,380원/USD, 전부 가정을 명시한 필자 계산이며, 국내 어노테이션 업체들이 문항당 단가를 공개하지 않아 인건비는 공개 크라우드 플랫폼 단가와 최저임금 기준으로 유도했다.

10단계 프로토콜과 가격

단계	내용	비용
1. 사전등록	⑪편의 8줄 + SHA-256 해시 공개	0원 + 8시간
2. 공개 벤치 기준선	하네스 버전 고정, 프로토콜 명시 실행	GPU 소액
3. 자체 골든셋 1,000문항	과제 유형·난이도 층화, 60~95% 정답률 구간 설계, 3분할	약 1,850만 원
4. 오염 감사	13-gram·캐너리·동형 신작 격차	수십만 원
5. LLM 판정자 검증	인간 라벨 대비 일치도 측정 후 채택	약 76만 원
6. 사람 평가	전문가 3인 × 300문항, 블라인드·IRR 보고	약 416만 원
7. CI 회귀 평가	체크포인트마다 자동 실행·드리프트 추적	월 약 32만 원
8. 비용·지연 축	₩/1M 토큰, p95 지연을 점수와 병기	계측만
9. 보고 표준	18항목 체크리스트(아래)	0원
10. 분기 갱신	신작 문항 보충, Sealed 셋 개봉 감사	분기 약 110만 원
합계: 초기 구축 약 1,757만 원(8주) / 첫해 총 약 2,580만 원 / 2년차부터 연 약 825만 원		최소판 약 320만 원

최소판(사전등록 + 크라우드 검수 300문항 + 판정자 검증 + 체크리스트)이 약 320만 원 + 월 10만 원이다. 5인 스타트업도 할 수 있는 가격이고, 국가는 말할 것도 없다. 독파모가 학습데이터 개방 항목 하나에 쓴 예산이 150억 원이다 — 방어 가능한 평가 체계는 그 0.2%다. 이 시리즈의 모든 문제는 돈이 없어서 생긴 게 아니다.

운용 규칙 세 개 — 숫자로

1. 문항 수가 곧 발언권이다. 300문항으로는 약 10%p, 1,000문항으로는 약 3%p 차이까지만 말할 수 있다(80% 검정력 기준). 300문항 평가로 "0.7점 개선"을 주장하는 보고서는 그 문장에서 무효가 된다. 반대로, 판별 못 하는 차이는 "동점"이라고 쓰는 것이 정확한 보고다.
2. LLM 판정자는 채용 면접을 통과해야 한다. 사람 라벨과의 일치도가 사람끼리의 일치도 이상임을 먼저 증명하고 쓴다(문헌 기준: 판정자-인간 85% vs 인간-인간 81%). 위치 편향이 있으므로 A/B 순서를 바꿔 두 번 묻는 것은 타협 불가 — 1,000판정에 중급 모델 기준 약 3천 원이다. 아낄 이유가 없다.
3. 비용 없는 리더보드는 의사결정 도구가 아니다. 모든 표는 정확도 ± 95% CI, ₩/1M 토큰, p95 지연을 함께 싣는다. 궁극의 한 줄 지표는 "정답 1건당 원가"다.

평가 보고서 체크리스트

모든 평가 보고서 말미에 붙일 항목들: 모델 버전·커밋 / 하네스 이름·버전 / 프롬프트 템플릿 전문 / 샷 수 / 문항 수 n / 반복 횟수·시드 / 온도 등 디코딩 설정 / 95% 신뢰구간 / 검정 방식과 보정 / 슬라이스별 분해 / 골든셋 버전 해시 / 오염 감사 결과 / 판정자 모델·버전 / 판정자-인간 일치도 / 사람 평가 IRR / 비용·지연 / 평가 일자 / 사전등록 링크.

굵게 표시한 세 줄 — 오염 감사, 판정자 일치도, 사전등록 링크 — 이 남들 보고서에 없는 것들이고, 이 세 줄이 있는 보고서는 그 자체로 신뢰의 증표가 된다.

다음 국가 평가 공고문에 들어가야 할 것

이 시리즈의 발견을 공고문 언어로 바꾸면 이렇게 된다. ①배점·환산식·프로토콜의 사전 공개와 해시 봉인(⑪) ②모든 점수에 문항 수·반복 횟수·신뢰구간 병기(③④) ③사람 평가의 블라인딩·루브릭·IRR 공개(⑤) ④홀드아웃·신작 문항·캐너리에 의한 오염 방지, 회차 간 문항 재사용 금지(⑥⑪) ⑤외부 지수 사용 시 버전 고정·기록(⑦) ⑥한국어 능력의 제3자 측정 — 독립 리더보드 재건(⑧) ⑦상대 컷 대신 절대 기준선, 탈락 대신 사전 선언 목표 대비 평가(⑨) ⑧평가자 독립성·이해관계 공표·명문화된 이의절차(⑩). 여덟 항목 전부 선례가 있거나 이 시리즈에서 가격이 계산됐다.

마치며

이 시리즈는 정부가 틀린 팀을 잘랐다고 주장하지 않았다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장했다. 검산 가능했던 것은 전부 검산했고 — 산수는 맞았다, 순위는 가중치 변경에 견고했다, 사용자 격차는 실재했다 — 확인 불가능했던 것들의 목록을 남겼다: 전문가 채점의 산포, 문항 수, 측정 프로토콜, 환산식의 확정 시점, 블라인딩 여부, 이의절차의 존재.

확인할 수 있게 만드는 비용은 첫해 2,580만 원, 시니어 개발자 연봉의 4분의 1이다. 그중 가장 효과가 큰 장치 — 결과를 보기 전에 규칙을 써서 해시로 봉인하는 것 — 는 0원이다.

그리고 이건 남의 이야기가 아니다. 필자의 회사도 모델을 만들고, 우리 모델도 언젠가 누군가의 표 위에 오른다. 그때 우리가 요구할 수 있으려면 우리부터 이 기준으로 재고 있어야 한다. 이 시리즈의 프로토콜은 오늘부터 우리 평가 파이프라인의 사양서다. 남의 숫자를 믿지 말고, 우리 숫자는 남이 믿을 수 있게 만들자.

— 독파모 평가 해부 ⑫ (완결) / 관련 시리즈: 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용), RAG 종류 총정리

독파모 평가 해부 ⑪ — 결과를 보기 전에 숫자를 쓴다: 사전등록과 오염 방지

비판은 ⑩편으로 끝났다. 여기서부터는 설계도다. 그리고 첫 번째 부품은 이 시리즈 전체에서 비용 대비 효과가 가장 높은 장치인데, 가격이 0원이다. 결과를 보기 전에 규칙을 쓰고, 그것을 고칠 수 없게 봉인하는 것 — 사전등록(pre-registration)이다.

왜 이게 핵심인가

임상시험은 수십 년 전에 이 문제를 겪었다. 결과를 본 뒤에 평가 기준을 고르면, 고르는 사람이 악의가 없어도 결론이 오염된다 — 지표가 여러 개면 그중 하나는 우연히 유리하게 나오기 마련이고, 사람은 그걸 "원래 중요했던 지표"로 기억한다. 해법은 단순했다. 시험 전에 주 지표와 판정 규칙을 등록하고, 등록과 다른 분석은 "탐색적"이라고 표시한다.

AI 평가에도 같은 장치가 2026년 현재 실증돼 있다. 하나는 평가 프로토콜 문서의 SHA-256 해시를 미리 공개해 두는 방식 — 나중에 프로토콜을 슬쩍 바꾸면 해시가 달라져 들통난다. 다른 하나는 더 우아하다. "아직 나오지 않은 다음 모델"에 대해 평가를 등록하는 것 — 등록 시점에 존재하지 않는 모델에는 유리한 기준을 고를 수가 없다. 이 방식이 기준 선택을 통한 결과 왜곡을 실험에서 73.9% 차단했다.

독파모에 대입해 보라. 배점(25/15/35/15/10)이 언제 확정됐고 참가자에게 언제 공지됐는지, AAII÷4 환산이 결과를 보기 전에 정해진 것인지 — 공개된 자료로는 알 수 없다. 사후에 정해졌다고 주장하는 게 아니다. 사전에 정해졌음을 증명할 수단을 만들지 않았다는 것이고, 해시 공개 한 줄이면 그 증명이 공짜였다는 것이다. 실제로 벤치마크 비중 조정이 "검토 중"이라는 발표가 결과 공개 직후에 나왔는데, 사전등록 체계가 있었다면 이런 발표 자체가 "다음 회차 규칙의 사전 공지"라는 정상적인 형태를 가졌을 것이다.

사전등록 문서에 들어갈 8줄

1. 의사결정 규칙 — 숫자로. "총점 X점 미만이면 탈락" 또는 "주 지표에서 기준선 대비 유의한 개선이면 채택".
2. 주 지표 단 하나. 나머지는 전부 보조 지표로 명시.
3. 가중치 — 그리고 그 가중치의 근거 한 줄씩.
4. 평가셋 버전 — 골든셋 파일 해시, 분할 방식, 서브샘플 ID까지.
5. 판정 방법 — 사람이면 루브릭·평가자 수·일치도 하한, LLM 판정자면 모델 버전·프롬프트·검증 결과(⑫편).
6. 표본 크기와 검정력 — "이 문항 수로는 몇 %p까지 판별 가능"을 스스로 명시.
7. 통계 검정 계획 — 검정 방식, 다중비교 보정, 유의수준.
8. 중단·예외 규칙 — 어떤 경우에 평가를 무효로 하는가.

이 문서를 쓰고 해시를 공개하는 데 드는 비용: 0원 + 약 8시간. 인건비로 쳐도 수십만 원이다. 효과: 평가 결과에 대한 거의 모든 종류의 사후 시비 차단.

오염 방지 — 3분할과 감사 4종

⑥편에서 봤듯 생존이 걸린 반복 평가에서 오염 방지는 전제 조건이다. 실무 설계는 이렇다.

평가셋 3분할.

• Public 30% — 공개. 참가자가 형식을 파악하고 이의를 제기할 수 있게. 오염되는 것을 전제로 운영한다.
• Internal 50% — 비공개, 회차마다 사용. 점수의 주력.
• Sealed 20% — 암호화 보관, 분기 1회만 개봉. Internal 점수와 Sealed 점수의 격차가 벌어지면 Internal이 오염됐다는 신호다.

오염 감사 4종. ①공개 코퍼스와의 13-gram 중복 스캔 ②멤버십 추론(Min-K% Prob) ③캐너리 문자열 — 평가셋에 고유 GUID를 심어 두고 모델이 그것을 완성하는지 검사(BIG-bench가 이 방식의 원조다) ④동형 신작 문항과의 격차 측정 — 기존 문항과 같은 난이도로 새로 만든 문항에서 점수가 뚝 떨어지면 그 격차가 곧 오염의 크기다(GSM1k 방식, 유명 모델들에서 실측 최대 8%p).

그리고 가장 중요한 것 하나. 오염 방지의 90%는 기술이 아니라 권한 분리다. 골든셋 저장소를 학습 파이프라인의 서비스 계정이 읽을 수 없게 하라. 평가 담당자와 학습 담당자를 분리하라. 골든셋을 어떤 외부 SaaS에도 올리지 마라(프롬프트 로깅이 곧 유출이다). 이건 국가 사업이든 5인 스타트업이든 똑같이 적용된다.

한국어 평가셋의 오염 저항 — 선택지는 넷뿐이다

⑧편의 재료들을 오염 관점에서 다시 정리하면, 구조적으로 오염을 막는 한국어 평가 설계는 네 가지다.

방식	사례	대가
연 1회 최신 기출만 사용	최신 수능·자격시험 회차	연 1회만 갱신 가능
전문가 신작	KoBALT(웹과의 trigram 중복 0.7%)	문항당 제작비
절차적 생성 + 시드 재생성	NOLLI 방식	만들 수 있는 과제 유형 제한
완전 비공개 홀드아웃	SEAL, 사우디 BALSAM	외부 재현 불가 — 운영자 신뢰 필요

넷 다 장단이 있고, 그래서 실무 답은 조합이다 — 공개 셋으로 투명성을, 신작·절차 생성으로 주력 측정을, 봉인 셋으로 오염 감시를. 국가 벤치마크가 이 구조를 갖추면 ⑥편의 "탈락제가 오염을 보상한다" 문제가 실제로 풀린다.

마지막 편이 남았다. 지금까지의 모든 부품 — 오차막대, 사람 평가 설계, 판정자 검증, 사전등록, 오염 방지 — 를 하나의 프로토콜로 조립하고, 원화 가격표를 붙인다. 미리 말하면, 총액은 시니어 개발자 연봉의 4분의 1이다.

— 독파모 평가 해부 ⑪ / 다음 글: 청구서 — 방어 가능한 평가 체계는 첫해 2,580만 원이다

독파모 평가 해부 ⑩ — 누가 재는가: 평가자 독립성은 이미 법 조문으로 있다

지금까지의 문제들 — 오차막대 없음, 프로토콜 미공개, 자기 채점 — 을 관통하는 근본 질문은 하나다. 누가 재는가, 그리고 재는 사람은 누구로부터 독립적인가. 좋은 소식은, 이 질문에 대한 답을 한국이 발명할 필요가 없다는 것이다. 이미 법 조문과 정부 표준 문서로 존재한다. 번역해서 공고문에 붙이면 된다.

이미 문장으로 존재하는 것들

• EU AI Act 제68조 — AI 평가를 담당하는 과학 패널은 "AI 시스템 또는 범용 AI 모델의 어떠한 제공자로부터도 독립적"이어야 하고, 위원 각자가 이해관계 신고서를 공표한다. 조문으로만 있는 게 아니다 — 2026년 6월 독립 전문가 60인이 임기 2년으로 실제 임명됐다.
• 미국 NIST AI 600-1 (MS-1.3-003) — "구조화된 인간 피드백 훈련을 수행하는 자가 동일 모델의 개발 업무에 직접 관여하지 않았음을 검증하라." AI RMF MEASURE 1.3 — "일선 개발자가 아닌 내부 전문가 및/또는 독립 평가자가 참여한다."
• EU 범용 AI 실천규약 부속서 3 — 한국이 필요한 목록이 한 문서에 다 있다: 통계적 유의성과 검정력 보고, 학습-평가 데이터 분리, 캐너리 문자열, 게이밍(샌드배깅) 방지, 다회 반복 실행, 블라인딩, 평가자 간 일치도, 독립 외부 평가자(예외는 20영업일 공개 모집이 실패했을 때뿐), 평가 연구자에 대한 법적 안전항구, 그리고 결과 발표를 30영업일 넘게 막을 수 없다는 조항까지.

이 문서들이 요구하는 것을 한 줄로 줄이면 — 평가자는 개발자와 분리되고, 이해관계는 공표되고, 방법은 공개되고, 결과 발표는 막을 수 없다.

한국 구조에 대입하면

독파모의 평가 체계는 NIA가 벤치마크를 만들고, NIPA가 사업 관리와 이의 심의를 하며, 둘 다 과기정통부 산하다. 분명히 해 두는데, 이것이 부정이 있었다는 뜻이 아니다. 지적은 정확히 이것이다 — 위 세 문서가 요구하는 종류의 분리 장치(평가자의 독립성 요건, 이해관계 신고·공표, 자금 집행 주체와 평가 주체의 분리)에 대응하는 규정이 이 사업에 있는지 공개된 자료로 확인되지 않는다. 규정이 있는데 공개만 안 됐다면 공개하면 되고, 없다면 위 조문을 번역해 넣으면 된다. 어느 쪽이든 다음 회차 공고문에서 해결 가능한 문제다.

전문가 10명(④편)의 명단과 이해관계도 같은 문제다. 익명 유지에는 이유가 있을 수 있다 — 로비 차단. 그렇다면 EU 방식이 답이다. 명단은 공개하되 개별 채점은 익명으로. 신원과 이해관계 신고는 공표하고, 누가 어느 팀에 몇 점을 줬는지는 봉인하는 것. 로비도 막고 검증도 가능하다.

이의절차 — 국제 표준형이 있다

모티프의 이의제기는 이 글을 쓰는 시점까지 공개된 답변이 없고, 애초에 이 사업에 정의된 이의절차가 있었는지도 확인되지 않는다. 참고할 표준형은 EU 연구 예산(Horizon)의 평가 재검토 절차다 — 30일 이내 제기, 분량 제한, 그리고 중요한 두 가지: 재검토 범위는 절차적 하자에 한정하고("평가의 실질 판단"은 대상이 아님), 대신 재평가가 결정되면 이전 평가에 관여하지 않은 평가자가 다시 평가한다.

이 설계가 좋은 이유는 양쪽을 보호하기 때문이다. 탈락 팀에게는 절차를 다툴 길을 주고, 평가자에게는 "점수가 마음에 안 든다"는 무한 재심 요구를 차단해 준다. 한국에 필요한 건 네 줄이다 — ①절차의 존재 ②기한 ③범위 ④재평가 시 평가자 교체.

흥미로운 사실 — 아무도 안 한 것이 남아 있다

정확히 하자. 위의 조문들은 전부 규제·안전 평가용이다. 이 시리즈가 다루는 상황 — 예산 배분을 위한 역량 평가 — 에 대해서는, 조사한 7개 관할권 어디에도 ①사전등록 의무 ②이의절차 ③이해상충 규정의 완결된 세트가 없다. 일본이 목표 사전선언으로 절반쯤 갔고(⑨편), 나머지는 공백이다.

즉 한국은 두 가지를 할 수 있다. 평가자 독립성은 베끼면 되고, 자금 배분 평가의 사전등록·이의절차는 세계 최초로 만들면 된다. "글로벌 격차 몇 점 축소"보다 이쪽이 훨씬 확실하게 잡을 수 있는 세계 1위다. 그리고 진지하게 — AI 평가 체계의 신뢰성은 앞으로 모든 나라가 필요로 하게 될 수출품이다.

이 편의 규칙 — 우리 회사용

1. 모델을 만든 사람이 그 모델의 평가를 소유하면 안 된다. 작은 조직이라도 평가 담당과 학습 담당은 분리하고, 최소한 골든셋 접근 권한을 나눠라(⑪편에서 구체화).
2. 외부에 점수를 낼 때는 이해관계를 먼저 적어라. "우리가 만든 벤치마크에서 우리 모델이 1위"라는 표에는 그 문장이 있어야 한다.
3. 평가에 불복 절차를 미리 정의하라. 사내 모델 채택 결정도 마찬가지다 — 절차 없는 결정은 결과가 옳아도 신뢰를 잃는다.

이제 비판은 끝났다. 남은 두 편은 설계도다. 다음 편은 이 시리즈에서 비용 대비 효과가 가장 높은 장치 — 0원짜리 — 에서 시작한다. 결과를 보기 전에 규칙을 쓰는 것.

— 독파모 평가 해부 ⑩ / 다음 글: 결과를 보기 전에 숫자를 쓴다 — 사전등록과 오염 방지

독파모 평가 해부 ⑨ — 탈락시키는 나라는 없었다: 7개 관할권 비교

"여러 팀에 국가 자원을 주고, 라운드마다 종합점수로 줄 세워 하위 팀을 자르고, 살아남은 팀에 GPU를 몰아준다." 독파모의 구조다. 이 구조를 다른 나라에서 찾아봤다 — 일본, EU, 영국, 미국, 싱가포르, 사우디, 그리고 상금 대회까지. 찾지 못했다. 이번 편은 그 비교다. (해외 사업의 예산 규모는 공식 출처 확인이 안 되는 값이 많아 이 글에서는 다루지 않는다.)

일본 GENIAC — 가장 가까운 비교 대상, 정반대의 선택

일본의 GENIAC은 독파모와 가장 비슷한 사업이다 — 정부가 여러 팀에 컴퓨트를 지원해 자국 파운데이션 모델을 만들게 한다. 그런데 운영이 정반대다.

• 탈락시키지 않는다. 팀 수가 10 → 21 → 24로 늘었다. 기수마다 새로 공모하고 재응모를 허용한다. 4기는 아예 "영역 특화 모델 개발"로 사업 성격을 바꿨다.
• 1기에는 공정성을 명시하며 held-out 평가셋을 구축했고(외부 평가 플랫폼과 협업), 최하위 모델은 순위로 깎는 대신 왜 낮았는지를 주석으로 달아 공개했다.
• 2~3기는 공통 리더보드를 버리고 "사전 선언한 목표 대비 실적"으로 전환했다. 각 팀이 개발 목적, 채택 벤치마크, 목표 수치를 미리 선언하고 실적을 보고한다 — 사실상의 사전등록이다. 그리고 미달을 그대로 공개한다: 한 팀은 영상 품질 지표 목표 545 대비 실적 804(낮을수록 좋음), 다른 팀은 목표 8.60 대비 7.88 — 전부 "미달" 표기로 공표됐고, 그래도 사업에서 잘리지 않았다.
• 평가에 쓴 데이터셋을 GitHub/HuggingFace에 공개해 공공재로 남긴다.
• 지원이 취소된 유일한 사례는 성능이 아니라 신청서 허위 기재였다 — 근거 규정 조항과 반환액(약 1억 엔)까지 공표했고 영문으로도 냈다.

요약하면 일본은 "평가는 학습 신호, 퇴출은 부정행위에만"이라는 원칙으로 운영한다. 독파모는 평가를 퇴출 장치로 쓴다 — ⑥편에서 봤듯 그 구조는 오염을 유인한다.

절대 기준 vs 상대 컷 — EuroHPC의 선택

EU의 컴퓨트 배분(EuroHPC)은 심사를 하되 상대 순위가 아니라 절대 기준선을 쓴다 — 항목당 5점 만점에 3점, 합계 15점에 10점을 넘으면 자격이 있다. 경쟁자가 몇 점이든 내가 기준을 넘으면 된다. 그리고 배정받은 자원을 회수하는 사유는 "성능 미달"이 아니라 "배정받고 안 쓴 것"이다. 이의신청은 15일 이내 제기, 1개월 내 회신으로 절차가 명문화돼 있다. 상대 컷은 팀들을 서로의 적으로 만들고, 절대 기준은 팀들을 기준의 경쟁자로 만든다. 어느 쪽이 벤치마크 게이밍을 덜 유인하는지는 자명하다.

탈락제를 정말 쓴 곳이 하나 있다 — 그리고 그 대가

공정하게, 점수로 탈락시킨 사례를 하나 찾았다. 미국 DARPA의 AI 사이버보안 챌린지(AIxCC)는 42팀을 7팀으로 잘랐다. 그런데 조건이 다르다.

• 이건 국가 역량 육성 사업이 아니라 상금 대회다.
• 채점식을 39쪽 규격서로 사전 공개했다 — 정확도 승수의 수식(AM = 1−(1−r)⁴)까지.
• 팀별 원점수를 공개했고, 채점 오류가 발견되자 정오표를 내고 점수를 수정했다(70→63).
• 결과물 전원 오픈소스화를 의무화했다.

즉 탈락제를 쓰려면 이만큼의 투명성이 전제라는 게 유일한 선례의 교훈이다. 그리고 하나 더 — 그렇게까지 했는데도 후속 연구는 7개 우승 시스템이 "원래 팀 밖에서는 사실상 사용 불가"였다고 보고했다. 대회 최적화의 산물은 대회 밖에서 잘 작동하지 않는다. 탈락 토너먼트가 만드는 모델이 산업 현장에서 쓸 모델과 같으리라는 가정 자체를 의심해야 한다.

이해상충 — "없다"가 아니라 "보이게 한다"

다른 나라라고 이해관계가 깨끗한 게 아니다. 일본 심사위원 명단에는 산업 당사자가 들어 있고, 사별 교부액·컴퓨트는 일본도 공개하지 않는다. 싱가포르는 같은 기관이 자국 모델(SEA-LION)과 그 모델이 1위인 리더보드(SEA-HELM)를 함께 운영한다. 사우디의 국가 평가 플랫폼 BALSAM은 저자 일부가 피평가 팀과 겹친다.

차이는 공개 여부다. 사우디 BALSAM은 유일하게 확인된 블라인드 홀드아웃 국가 평가 플랫폼인데, 그 위에서 자국 대표 모델이 4위라는 결과를 그대로 공개한다(GPT 계열과 중국 모델 두 개 아래). 싱가포르 SEA-HELM은 ③편에서 봤듯 8회 반복 + 부트스트랩 + 95% 신뢰구간으로 전환했다. "이해상충이 없다"가 아니라 "이해상충과 불리한 결과가 보인다"가 이들 시스템의 방어선이다.

비교표

프로그램	점수 탈락	사전 공개된 채점 규칙	홀드아웃	오차막대	명문화된 이의절차
일본 GENIAC	✗ (팀 증가)	목표 사전선언	1기 ○	✗	—
EuroHPC	✗ (절대 기준)	○ (3/5·10/15)	—	—	○ (15일/1개월)
사우디 BALSAM	✗	○	○ 블라인드	—	—
싱가포르 SEA-HELM	✗	○	부분	○ 8회+CI	—
DARPA AIxCC (상금 대회)	○ (42→7)	○ 39쪽 규격+정오표	○	—	○
독파모	○ (5+1→3)	배점만 공개	미공개	✗	확인 안 됨

독파모는 가장 강한 조치(탈락)를 쓰면서 가장 약한 투명성으로 운영되는 유일한 사례다. 탈락제 자체가 절대 악은 아니다 — 그걸 쓴 유일한 곳이 지불한 투명성의 값을 안 냈다는 것이 문제다.

그럼 남은 질문은 사람이다. 누가 재는가, 재는 사람은 누구로부터 독립적인가. 놀랍게도 이 질문의 답은 이미 법 조문으로 존재한다.

— 독파모 평가 해부 ⑨ / 다음 글: 누가 재는가 — 평가자 독립성은 이미 법 조문으로 존재한다

독파모 평가 해부 ⑧ — 한국어 능력을 검증한 제3자가 아무도 없다

사업의 이름은 "독자 AI 파운데이션 모델"이다. 존재 이유가 한국어와 한국 산업이라는 뜻이다. 그런데 이 시리즈를 준비하며 네 팀의 공개된 한국어 벤치마크 점수의 출처를 전수 추적한 결과가 이렇다. 전부 자기가 매긴 점수다.

영어는 제3자가 재고, 한국어는 아무도 안 잰다

영어권 능력은 Artificial Analysis가 네 팀 모델 전부를 같은 조건에서 독립 실행했다(⑦편). 그런데 한국어 벤치마크는 제3자 보고도, 독립 재실행도 0건이다. KMMLU든 자체 제작 벤치마크든, 표에 실린 한국어 숫자는 모두 그 모델을 만든 회사가 스스로 돌려 스스로 보고한 값이다.

독립 검증 인프라가 없어서다. 유일했던 공개 한국어 리더보드들의 현재 상태: Open Ko-LLM Leaderboard는 2024-12-09 이후 RUNTIME_ERROR 상태로 멈춰 있고 — 그마저 운영 주체가 평가 대상 기업인 업스테이지였다 — 국립국어원 말평은 2024-09 이후 정지, 또 다른 리더보드는 접속 자체가 막혀 있다. 2026년 한국에는 작동하는 독립 한국어 LLM 리더보드가 하나도 없다.

그 공백을 각 사가 자체 벤치마크로 메운다. LG는 KMMLU-Redux/Pro와 자체 안전성 벤치마크를(자사 모델 99.8점), 업스테이지는 Ko-GDPval 등 자체 세트를(170과제, 비공개), KT도 자체 세트를 만들었다. 벤치마크 제작 자체는 기여다 — 문제는 그다음이다. 자기가 출제한 시험을 자기가 치르고 자기가 채점한 점수들을, 서로 다른 시험끼리 한 표에 놓고 비교하는 것. 이 표가 지금 한국어 모델 담론의 기본 화폐다.

공용 자라는 것들의 상태

"그럼 공용 벤치마크로 재면 되지 않나"가 다음 질문인데, 그 자들의 상태가 이렇다.

• KMMLU — 한국어 대표 벤치마크. 후속 감사(제작진 일부가 참여한 KMMLU-Redux/Pro 논문)가 스스로 밝힌 수치: 테스트셋 결함 문항 7.66%, 내부 중복 5.36%, 학습-테스트 오염 5.46%. 라이선스가 CC-BY-ND라 고친 버전을 만들어 배포할 수도 없다. 그리고 한국 특화 지식을 요구하는 문항은 20.4%뿐 — 나머지는 번역해도 성립하는 일반 지식이다.
• 포화 — CLIcK는 2024년 최고 48.6%에서 2026년 91.6%가 됐다. 현재 국내 상위 모델 간 변별폭이 HRM8K 2.8%p, KorMedMCQA 7.2%p 수준이다. 생성 평가 LogicKor는 "상위권 모델에 대한 변별력이 거의 없어졌습니다"라는 공지와 함께 공식 아카이브됐다. ②편에서 본 NIA 벤치마크의 99.8~100.0 포화는 이 생태계의 일부다.
• 반면 아직 변별하는 자도 있다 — 언어학 전문가가 신작한 KoBALT(최고 0.61), 그리고 한국어 웹 에이전트 과제 K-BrowseComp: 해외 프론티어 30~45.7% vs 국내 모델 0.0~10.3%. 격차가 가장 크게 벌어진 축이 정작 국가 평가에는 없다.

같은 자를 모티프에게도

이 시리즈가 모티프 편이라고 읽혔다면 여기서 교정한다. 모티프 3의 기술 리포트 14.6만 자에는 `KMMLU`가 0회, `Korean`이 1회 등장한다. 한국어 벤치마크 점수를 하나도 싣지 않은 것이다. "독자 AI" 사업에서 벤치마크 종합 1위를 한 모델이 정작 한국어 능력의 공개 증거를 제시하지 않았다 — 이 비판은 정부와 모티프 양쪽을 향한다. 사족으로, 모티프의 영어권 자기보고는 16개 중 9개가 AA 독립 측정과 소수점까지 일치할 만큼 정직했다. 정직한 보고와 빠진 보고는 별개의 문제다.

제3자 평가가 한 번 있었다 — 그리고 그 평가도 같은 자로 재야 한다

공개된 유일한 제3자 한국어 계열 평가가 서강대 수학과 연구팀의 수능 수학 평가다(46문항, 모델당 3회 실행). 여기서 나온 발견 하나는 진짜로 중요하다 — 모델의 1회 정답률과 3회 통합(pass@3)의 격차가 키미 K3는 3.6%p인데 모티프 3는 24.6%p였다. 같은 시험을 세 번 쳤을 때의 편차가 모델마다 7배 다르다는 것으로, ③편의 "반복 없는 측정은 무효"를 국내에서 실증한 값이다.

그런데 이 평가를 인용하려면 이 평가의 한계도 전부 같이 인용해야 공정하다: 모티프만 API가 아니라 웹 채팅 UI로 사람이 손으로 측정했고, SKT는 아예 제외됐으며, 업스테이지는 사업에 제출한 모델이 아닌 상용 모델로 평가됐고, 문항은 영어로 번역됐고, 1번 문항은 지수 표기가 손상돼 모델이 "오타 같다"고 지적했는데 오답 처리됐고, 온도·시드는 미공개이고, 동료평가를 거치지 않았다. 한계가 이만큼 열거될 수 있는 것은 연구팀이 방법을 공개했기 때문이다 — 그 점에서 이 평가는 방법을 공개하지 않은 국가 평가보다 과학에 가깝다. 다만 이 결과로 특정 팀의 탈락을 정당화하는 데 쓰면 안 된다.

없는 것을 만드는 길은 이미 보인다

비판만 하고 끝내지 않기 위해, 한국어 평가의 공백을 메울 재료가 이미 학계에 나와 있다는 것을 적어 둔다.

• KCSAT-ML — 수능 수학 664문항인데, 그중 339문항에는 수십만 명 응시자의 공식 문항별 오답률이 붙어 있다. 모델이 틀리는 문항이 사람이 어려워한 문항인지까지 잴 수 있다(같은 정답률의 두 모델이 완전히 다른 프로파일을 가질 수 있다).
• NOLLI — 시드로 문항을 절차적으로 재생성하는 설계. 오염되면 시드를 바꿔 새 시험지를 뽑는다. 오염 문제의 구조적 해법이다.
• 그리고 무엇보다 — 죽어 있는 독립 리더보드를 국가가 살리면 된다. 평가 대상이 아닌 기관이, 오차막대와 함께, 홀드아웃 문항으로. 그 설계는 ⑪·⑫편에서 다룬다.

다음 질문. 이 모든 문제 — 탈락제, 자기 채점, 죽은 계측기 — 를 다른 나라는 어떻게 다루고 있을까. 7개 관할권을 확인했고, 결론부터 말하면 종합점수로 팀을 자르는 나라를 찾지 못했다.

— 독파모 평가 해부 ⑧ / 다음 글: 탈락시키는 나라는 없었다 — 7개 관할권 비교

독파모 평가 해부 ⑦ — 25점을 건 계측기를 뚯어봤다: AAII

회사에서 성과급의 25%를 외부 SaaS 대시보드의 숫자 하나에 연동하기로 했다면, 당신은 계약 전에 그 숫자의 계산식을 볼 것이다. 독파모는 100점 중 25점을 Artificial Analysis Intelligence Index(AAII)에 걸었다. 그래서 그 계산식을 뜯어봤다.

이 지수는 무엇을 재는가 — "지능"이 아니라 에이전트 작업 수행

평가 시점의 현행 버전 v4.1.1은 9개 벤치마크, 4개 범주로 구성된다.

범주	구성	비중
에이전트	GDPval-AA v2 20% + τ³-Banking 14%	34%
코딩	Terminal-Bench v2.1 16% + SciCode 8%	24%
과학 추론	HLE 12% + GPQA Diamond 6% + CritPt 6%	24%
일반	AA-Omniscience 12% + AA-LCR 6%	18%

에이전트+코딩이 58%다. 이건 "지능 지수"라기보다 에이전트 워크플로 수행 지수다. 그 자체로 나쁜 게 아니다 — 문제는 이 구성이 "독자 파운데이션 모델"의 국가적 목표(한국어 능력, 산업 활용성)와 어떻게 대응하는지 아무도 설명하지 않은 채 25점이 배정됐다는 것이다. 참고로 한국어 관련 항목은 0%다.

계측기로서의 상태

• 최대 비중 항목(GDPval-AA v2, 20%)의 반복 횟수는 1회다. Elo 방식이고, 기준 점수는 "모델이 추가된 시점에 동결"된다.
• 공개 변경이력이 없다. 방법론 페이지에 버전 히스토리 섹션이 없고, 공개 API에는 시계열 조회도 버전 필드도 없다. 그래서 "지수 구성이 바뀔 때 과거 점수가 재계산되는가"라는 기본적인 질문에 외부에서 답할 수 없다. 실제로 AAII 점수를 인용한 논문 두 편이 둘 다 버전 표기 없이 인용했다 — 몇 달 뒤 그 숫자는 재현 불가능해진다.
• 지수의 약 74%는 외부에서 재현할 수 없다. 문항이 완전 공개된 구성 요소는 HLE(12%) + SciCode(8%) + GPQA Diamond(6%) = 26%뿐이다.

그리고 가장 심각한 것. 구성 요소 하나가 감사 결과 계측기로서 고장나 있었다. 2026-08-05 공개된 SciCode 감사 논문은 65개 문제에서 263건의 결함을 찾았고, 그중 192건이 정답을 오답으로 판정하는 채점기 결함이었으며 주 문제의 91%가 영향을 받았다. 채점을 고치자 정확도가 9~27%에서 69~92%로(+60~83%p) 뛰었다. SciCode는 AAII의 8%다. 그리고 이 논문의 공개일(08-05)은 독파모 평가 기간(08-04~11로 보도됨)과 겹친다. 평가에 쓰인 AAII 값이 수정 전 SciCode를 포함했다면, 국가 평가의 25점 중 일부가 고장난 채점기 위에서 계산된 것이다 — 어느 시점의 값을 썼는지는 공개되지 않았으므로 이건 확인을 요구하는 질문으로 남긴다.

공정하게: AA가 잘하는 것

비판만 하면 절반짜리 글이다. Artificial Analysis는 몇 가지를 업계 누구보다 잘한다.

• 비용·속도 실측. 하루 8회 측정, 72시간 P50 중앙값 보고. 품질-가격-속도를 한 화면에 놓는 곳은 사실상 여기뿐이고, 이건 진짜 공공재다.
• 벤더 자기보고에 대한 대항 축. 제조사가 체리피킹한 점수 대신 제3자가 같은 조건으로 돌린 값을 준다. 실제로 모티프의 자기보고 16개 중 9개가 AA 측정치와 소수점까지 일치했다 — AA가 있어서 검증이 가능했던 것이다.
• 합성 지표에 신뢰구간 추정을 공개하고(±1% 미만 주장), 자체 하네스를 MIT 라이선스로 공개한다.

AA는 좋은 도구다 — 엔지니어의 모델 선택 도구로. 이 시리즈의 주장은 "AA가 나쁘다"가 아니라 "버전 관리도 재현성도 보장되지 않는 외부 상용 지수에 국가 예산 배분의 25%를 거는 것은 용도 오류"라는 것이다.

그리고 한국 모델은 3축 중 1축만 측정됐다

AA의 설계 철학은 지능·가격·속도의 3축 트레이드오프다. 그런데 국산 오픈웨이트 모델의 AA 페이지를 보면 — 모티프 3 기준 — 지능 47, 가격 $0.00, 속도 N/A다. 상용 API가 아니니 가격·속도 축이 비어 있고, 속도 측정 인프라 자체가 미국 GCP 리전 한 곳에서 돌아가므로 국내 서빙과 무관하다. 정부는 3축짜리 도구에서 마침 값이 채워진 1축만 떼어 25점을 매겼다.

덧붙여 ①편의 환산 문제를 다시 보자. AA 원점수 ÷ 4는 AAII를 100점 만점으로 취급한 것인데 세계 최고가 63점이다. ②편에서 확인했듯 이 압축을 고쳐도 순위는 안 바뀐다 — 하지만 "고쳐도 안 바뀐다"는 것을 확인하는 계산조차 정부가 아니라 외부인이 해야 했다는 게 이 시리즈의 반복되는 패턴이다.

이 편의 규칙 — 우리 회사용

1. 외부 지수를 의사결정에 쓰려면 버전을 고정하고 기록하라. "AAII 47점"이 아니라 "AAII v4.1.1, 2026-08-31 조회, 47점".
2. 재현 불가능한 지표에는 상한 비중을 둬라. 우리가 다시 돌려볼 수 없는 숫자에 큰 결정을 걸지 않는다.
3. 합성 지수는 분해해서 봐라. "지능 1점"이 에이전트 과제에서 온 것인지 장문 이해에서 온 것인지에 따라 우리 서비스와의 관련성이 완전히 다르다.

AAII 25점은 그래도 제3자 측정이었다. 다음 편은 더 근본적인 공백이다 — 이 사업의 이름이 '독자 AI'인데, 정작 한국어 능력 점수는 전부 자기가 매긴 것이다.

— 독파모 평가 해부 ⑦ / 다음 글: '한국어 능력'을 검증한 제3자가 아무도 없다

독파모 평가 해부 ⑥ — 부정행위 없이 리더보드를 이기는 법

평가를 이야기할 때 흔히 "부정행위만 막으면 된다"고 생각한다. 이번 편의 요지는 반대다. 규칙을 하나도 어기지 않고 점수를 올리는 방법들이 이미 정량화돼 있고, 탈락제는 바로 그 방법들을 쓰라고 등을 떠민다.

사례 1: 여러 번 응시하고 최고점만 낸다

2025년의 "The Leaderboard Illusion" 연구가 LMArena에서 실증한 것이다. Meta는 Llama 4 출시 전 27개의 비공개 변종을 아레나에서 테스트하고 가장 좋은 것만 공개했다. 시뮬레이션으로는 같은 실력의 변종 20개만 돌려도 최고 점수가 약 50 Elo 상승한다. 동전을 스무 번 던져 제일 잘 나온 기록을 내는 것과 같은 원리다 — 어느 규칙에도 어긋나지 않는다.

데이터 접근도 비대칭이었다. 아레나 전체 대화 데이터에서 구글이 19.2%, OpenAI가 20.4%를 가져가는 동안 오픈웨이트 모델 83개가 합쳐서 29.7%를 나눠 가졌다. 그리고 아레나 데이터로 학습하면 아레나 승률이 23.5%에서 49.9%로 +112% 뛰는데, MMLU 점수는 오르지 않는다. 실력이 아니라 시험 적응이 늘어난 것이다.

사례 2: 평가 기관이 "우리 평가는 뚫린다"고 자백한다

미국의 국가 평가 기관 CAISI는 자기 평가에서 발생한 게이밍 비율을 스스로 측정해 공개한다 — Cybench 0.3%, SWE-bench 0.1% + 채점기 게이밍 0.2%, 내부 CVE-Bench는 4.8%. 수치보다 중요한 건 태도다. 정부 평가 기관이 자기 계측기의 뚫린 구멍을 수치로 공개하는 것 — 이게 평가를 과학으로 다루는 기관의 모습이다.

구조: 탈락제는 오염을 보상한다

2025년의 벤치마크 관행 연구는 이렇게 정리한다 — "리더보드는 평가를 경쟁으로 바꿔 놓았고, 그 결과 개발자가 벤치마크에 직접 최적화하도록 유인한다." 그리고 오염(테스트셋이 학습에 섞이는 것) 탐지 기법은 회피 가능하다는 것도 함께 보였다.

이걸 독파모 구조에 대입해 보자. 평가에서 지면 GPU 배정이 끊기고 사업에서 퇴출된다. 벤치마크 구성은 알려져 있다(AAII 구성 벤치마크는 공개돼 있고, NIA 벤치마크는 1차에서 한 번 치렀으니 2차 팀들은 그 성격을 안다). 이 조건에서 "평가에 나올 것과 비슷한 데이터를 학습 후반에 더 넣는" 선택은 부정행위가 아니다 — 합리적 경영 판단이다. 그게 문제다. 생존이 걸린 반복 평가에서, 오염을 막는 책임을 참가자의 양심에 맡기는 설계는 작동할 수 없다.

여기서 공개돼야 할 질문이 하나 나온다. NIA 벤치마크의 문항은 1차와 2차에서 같은 세트였는가, 갱신됐는가. 같은 세트라면 2차 점수는 "능력"과 "1차 문항에 대한 적응"을 구분할 수 없다. ②편에서 본 NIA 항목의 극단적 포화(네 팀 99.8~100.0)는 두 해석 모두와 부합한다 — 그래서 더더욱 공개가 필요하다.

국내 정황 — 의혹과 부인을 같은 문장에

2026년 8월, 일부 참여 기업이 벤치마크 점수 최적화 작업을 외주했다는 이른바 "벤치맥싱" 의혹이 보도됐다. 4개사 전원이 부인했고, 확인된 계약은 없다. 이 시리즈는 이 의혹을 사실로 취급하지 않는다. 여기서 인용하는 이유는 하나다 — 당시 과기정통부의 해명이 "전문가·이용자 평가로 보완된다"였는데, ②편에서 계산했듯 그 보완 장치라는 전문가 평가의 실효 가중치는 16.9%였고 통계적으로 4팀을 변별하지 못한 유일한 항목이었다(④편). 의혹의 진위와 무관하게, 방어 논리가 성립하지 않는다는 것은 산수로 말할 수 있다.

막는 방법은 알려져 있다

이 문제에는 검증된 해법이 있다. 뒤의 ⑪편에서 자세히 다루지만 예고만 하면:

• 비공개 홀드아웃 — 참가자가 한 번도 본 적 없는 문항으로만 최종 판정. 민간에서는 이미 표준이다(SEAL 리더보드는 "그 조직이 처음 접하는 프롬프트"를 규칙으로 명시한다).
• 매 회차 신규 문항 — LiveBench는 매달 문항을 갈아 끼우는 것으로 오염 저항을 설계에 내장했다.
• 오염 감사 — 새로 만든 동형 문항과의 점수 격차를 재면 오염의 크기가 나온다(GSM1k 방식, 실측 최대 8%p).
• 캐너리 문자열 — 평가셋에 고유 식별자를 심어 학습 데이터 혼입을 사후 탐지.

전부 독파모가 쓸 수 있었고 다음 회차에 쓸 수 있는 것들이다. 탈락제를 유지하려면 오염 방지는 선택이 아니라 전제 조건이다.

그런데 잠깐 — 지금까지 벤치마크 블록을 "40점"으로 뭉뚱그렸다. 그중 25점은 특정 외부 회사의 지수 하나에 걸려 있었다. 다음 편은 그 계측기를 분해한다. 국가 예산 결정의 4분의 1을 건 자, Artificial Analysis Intelligence Index.

— 독파모 평가 해부 ⑥ / 다음 글: 25점을 건 계측기를 뜯어봤다 — AAII

독파모 평가 해부 ⑤ — 60점을 사람에게 맡겼다: 사람은 무엇을 채점하나

④편의 결론은 "사용자 점수 격차는 실재하지만, 그것이 무엇을 잰 것인지 모른다"였다. 이번 편은 그 빈칸을 문헌으로 채운다. 사람에게 모델을 채점시키면 사람은 무엇을 채점하는가. 독파모는 100점 중 60점을 사람에게 맡겼다 — 전문가 35, AI 전문사용자 15, 일반국민 10. 이 선택이 무엇을 의미하는지 알려면 사람 선호 평가에 대해 알려진 것들을 봐야 한다.

사람은 정답이 아니라 문체에 투표한다

가장 큰 규모의 사람 선호 평가는 LMArena(구 Chatbot Arena)다. 그리고 그 운영자 스스로가 자기 데이터의 편향을 정량화했다. 선호 투표를 회귀분석하면 응답 길이의 계수가 0.249로, 마크다운 목록(0.031)·헤더(0.024)·볼드(0.019)보다 8~13배 크다. 길게 쓰면 이긴다는 뜻이다. 실제로 문체 효과를 통제한 순위를 발표하자 한 모델이 6위에서 18위로 12계단 떨어졌다. 조작이 아니다 — 사람 선호가 원래 그렇게 생겼다는 운영자 자신의 보고다.

정확성 쪽은 더 불편하다.

• 스택오버플로 질문에 대한 ChatGPT 답변을 분석한 연구: 답변의 52%가 부정확했는데, 사용자들은 그중에서도 35%를 사람 답변보다 선호했고 오류의 39%를 알아채지 못했다. 선호 이유로 꼽힌 것이 "포괄성과 잘 다듬어진 문체"다.
• 단정적인 문체로 쓰인 출력에서 비전문가는 사실 오류의 2.2%를, 전문가는 24.6%를 탐지했다. 자신감 있는 문체는 비전문가에게는 오류를 가려 주고, 전문가에게는 오히려 검증 대상으로 보이게 한다.
• 크라우드 평가자의 평가자 간 일치도(Krippendorff α)를 실측한 연구에서는 0.11~0.27 — 사용 불가 수준 — 이 나왔고, 문항당 판단에 걸린 시간의 중앙값은 13초였다.

모델 쪽에도 이 편향에 올라타는 성질이 있다. RLHF로 학습된 모델은 사용자 의견에 동조하는 방향으로 보상받아 왔고, 선호 보상모델이 진실한 답변보다 아첨하는 답변을 95%의 경우에 선호한다는 측정이 있다. "확실해요?"라고 되묻기만 해도 일부 모델은 맞는 답의 86~98%를 뒤집었다. 즉 사람 선호 60점은 모델의 능력만이 아니라, 사람 비위를 맞추도록 튜닝된 정도를 함께 잰다.

몇 명이면 되는가 — 그리고 몇 문항이면 되는가

표본 크기 문제도 계산이 된다(필자 계산, 이항 검정, α=0.05, 검정력 80%).

• 55:45 정도의 선호 차이를 입증하려면 무승부 제외 783건의 판정이 필요하다.
• 52.5:47.5이면 3,139건이다.

독파모의 전문사용자 49명·일반국민 185명이 각각 몇 건의 판정을 했는지는 공개되지 않았다. 1인당 여러 문항을 평가했다면 충분했을 수도 있다 — 그 산수를 공개하면 되는데 하지 않았다.

문항 수 쪽에는 더 유용한 개념이 있다. 분리도(separability) — 전체 모델 쌍 중 신뢰구간이 겹치지 않는 쌍의 비율이다. 160문항짜리 MT-Bench의 분리도는 22.6%다. 즉 77%의 모델 쌍은 애초에 순위를 가릴 수 없다. 1,000문항으로 늘린 Arena-Hard는 87.4%다. 독파모 사람 평가의 과제 수와 분리도는 공개되지 않았다.

공정하게: 문제는 '일반국민'이 아니라 '구조 없는 선호 투표'다

여기서 "일반인에게 물어본 게 잘못"이라고 결론 내리면 틀린다. 구조를 주면 비전문가도 잘한다. 토론·체크리스트·참조자료를 제공한 실험에서 비전문가 정확도가 76%까지 올라갔고, 리커트 척도 대신 이진 판정 + 근거 서술(Boolean 루브릭)을 쓰면 일치도가 오르고 평가 시간이 절반으로 줄어든다는 실무 보고가 있다. 사람 평가는 벤치마크가 못 재는 것(실사용 맥락, 한국어의 자연스러움)을 잴 수 있는 유일한 도구이기도 하다. 문제는 도구가 아니라 설계다.

그래서 방어 가능한 사람 평가의 최소 요건은 정해져 있다 — 블라인딩(어느 팀 모델인지 가림), 제시 순서 무작위화, 사전 등록된 루브릭과 앵커 예시, 평가자 캘리브레이션, 평가자 간 일치도(IRR) 보고, 길이·서식 통제, 표본 크기 근거. 독파모 사람 평가 60점에서 이 중 무엇이 지켜졌는지, 하나도 공개되지 않았다.

블라인딩 하나만 봐도 상태를 알 수 있다. 한 보도는 "블라인드 평가"라 했고, 정부 자료는 "제시 순서 무작위"라고 표현했으며, 모티프는 이의제기에서 "블라인드를 요청했다"고 주장했다 — 블라인드였다면 나올 수 없는 주장이다. 세 서술이 서로 충돌하는데 어느 것이 사실인지 확인할 공개 자료가 없다. 60점짜리 측정의 가장 기본적인 설계 항목이 이 상태다.

이 편의 규칙 — 우리 회사용

1. 사람 선호 점수를 "품질"로 읽지 마라. 그것은 품질 + 길이 + 문체 + 아첨의 합성 신호다. 길이·서식을 통제하고, 정확성은 별도 축으로 재라.
2. 비전문가에게는 선호를 묻지 말고 구조화된 과제를 줘라. 체크리스트, 참조자료, 이진 판정.
3. IRR을 계산하지 않은 사람 평가는 버려라. α 0.2짜리 패널의 평균은 정보가 아니다.
4. 블라인딩과 순서 무작위화는 협상 대상이 아니다. 그리고 그렇게 했다고 문서로 남겨라 — "했다"와 "했다고 증명할 수 있다"는 다르다.

여기까지가 사람 쪽이다. 그런데 벤치마크 쪽은 단단한가? 다음 편은 더 불편한 이야기다 — 규칙을 하나도 어기지 않고 리더보드에서 이기는, 이미 정량화된 방법들. 그리고 탈락제가 바로 그 방법들을 쓰도록 유인한다는 구조적 문제.

— 독파모 평가 해부 ⑤ / 다음 글: 부정행위 없이 리더보드를 이기는 법

독파모 평가 해부 ④ — 3.2점에 오차막대를 붙여봤다

고백부터. 필자는 이 계산을 "3.2점 차이는 노이즈였다"고 쓰기 위해 시작했다. ③편에서 본 문헌들이 그렇게 예고했으니까. 그런데 계산은 그렇게 나오지 않았다. 이번 편은 이 시리즈에서 가장 정직한 편이고, 그래서 가장 중요한 편이다.

이 평가의 표본 단위는 문항이 아니라 사람이다

③편의 "문항 수" 논리를 그대로 가져오면 안 된다. 독파모 2차 평가의 100점은 성격이 다른 두 블록이다.

• 벤치마크 40점 — 표본 단위가 문항. AAII 쪽은 문항 수와 반복 횟수가 공개돼 있다(GPQA 198문항×5회, HLE 1,079×2, Terminal-Bench 89×3 등). NIA 쪽은 문항 수 미공개.
• 사람 평가 60점 — 표본 단위가 사람. 전문가 10명(최고·최저 절사 후 유효 8명), AI 전문사용자 49명, 일반국민 185명.

사람 블록의 오차는 평가자 수와 평가자 간 산포(σ)로 결정된다. 문제는 σ가 공개되지 않았다는 것이다. 그래서 아래 계산은 전부 시나리오다 — 다만 결정적 기준으로 "그 척도에서 산술적으로 가능한 최대 σ"(0~S점 척도에서 S/2)를 포함시켰다. 이 값에서도 유의하다면, 어떤 실제 산포에서도 유의하다는 뜻이다. (전부 필자 계산, 비대응·정규근사·양측 α=0.05.)

계산 ① 일반국민 10점 — 노이즈일 수 없다

LG 7.6 vs 모티프 5.7, 격차 1.9점, n=185.

σ 가정	z	p
5.0 — 0~10 척도에서 산술적 최대	3.65	0.00026
2.5	7.31	<10⁻¹²

모든 평가자가 0점 아니면 10점만 주는 극단적 세계에서도 유의하다. 185명 격차 1.9점은 노이즈일 수 없다.

계산 ② 전문사용자 15점 — 역시 실재한다

SKT 11.6 vs 모티프 8.4, 격차 3.2점, n=49. 산술적 최대 σ=7.5에서도 z=2.11(p=0.035), 현실적인 σ=3이면 z=5.28. 탈락을 만든 가장 큰 격차 — 사용자 블록의 5.0점 — 는 통계적으로 실재하는 격차다.

계산 ③ 전문가 35점 — 유일하게 무너지는 항목

LG 29.5 vs 모티프 27.1, 격차 2.4점, 유효 n=8.

σ 가정	z	판정
5.0	0.96	유의하지 않음 (p=0.34)
4.0	1.20	유의하지 않음 (p=0.23)
2.0	2.40	p=0.016 — 다중비교 보정 실패

유의해지려면 전문가 10명이 35점 척도에서 표준편차 2.1점 이내(척도의 6%)로 합의했어야 한다. 전문가끼리의 일치도가 LLM 출력 평가에서 79~90% 수준이라는 문헌을 감안하면 비현실적인 가정이다. 명목 배점이 가장 컸던 항목이, 통계적으로는 네 팀을 변별하지 못한 유일한 항목이다. ②편의 실효 가중치 결과(35점 배점, 실효 16.9%)와 정확히 겹친다.

계산 ④ 그래서 총점은

총점 격차의 유의성은 전문가 항목의 산포가 지배한다. 시나리오별로:

• 1위-2위 0.7점, 2위-3위 0.9점: 어떤 시나리오에서도 유의하지 않다. SKT, 업스테이지, LG는 통계적으로 동점이다.
• 3위-4위 3.2점: 전문가 산포에 따라 갈린다. 전문가들이 일관됐다면(σ_d=2) 다중비교 보정까지 통과하고, 중간(σ_d=4)이면 보정에서 탈락하고, 산포가 컸다면(σ_d=8) 유의하지 않다.

즉 탈락 결정의 통계적 성립 여부는 전적으로 전문가 10명의 채점 산포에 달려 있고, 그 값은 공개되지 않았다. 여기서 이 시리즈의 가장 구체적인 요구가 나온다 — 정부는 이 값을 갖고 있다. 항목별 평가자 표준편차 한 줄을 공개하면 이 논쟁은 산수로 끝난다.

예상과 달랐던 결론 — 정밀도가 아니라 타당도다

필자의 예상은 "전부 노이즈"였다. 실제 결과는 셋으로 갈렸다 — 상위 3팀은 동점이고, 전문가 항목은 변별에 실패했지만, 탈락을 만든 사용자 격차 자체는 실재한다.

그러니 정직한 결론은 이것이다. 이 평가의 문제는 측정의 정밀도가 아니다. 49명과 185명은 그들이 잰 것을 꽤 정밀하게 쟀다. 문제는 그들이 무엇을 쟀느냐다. 일반국민 185명이 준 1.9점 차이는 실재한다 — 그런데 그 점수는 모델의 무엇을 반영하는가? 답변의 정확성인가, 문체의 매끄러움인가, 응답 속도인가, 말투인가? 그리고 그것이 "6개월 내 출시된 글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 무슨 관계인가? 이 연결을 설명하는 문서를 찾지 못했다.

이 시리즈의 핵심 문장을 여기서 처음 쓴다. 이 글은 정부가 틀린 팀을 잘랐다고 주장하지 않는다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장한다. 오차막대가 없어서 확인할 수 없고, 사람 점수가 무엇을 재는지 정의되지 않아서 확인할 수 없다.

그럼 다음 질문은 정해져 있다. 사람 60점 — 사람은 모델의 무엇을 채점하는가. 이 질문에는 놀랄 만큼 구체적인 연구가 쌓여 있다.

— 독파모 평가 해부 ④ / 다음 글: 60점을 사람에게 맡겼다 — 사람은 무엇을 채점하나

독파모 평가 해부 ③ — 평가는 실험이다, 그런데 표준오차가 없다

우리는 버튼 색깔 하나를 바꾸는 A/B 테스트에도 p-value를 요구한다. 그런데 수천억 원짜리 국가 사업의 팀 탈락을 결정하는 모델 평가에는 왜 오차막대를 요구하지 않는가. 이번 편은 독파모를 잠시 내려놓고, 모델 평가 점수라는 것이 물리적으로 얼마나 흔들리는 물건인지를 문헌으로 확인한다. 다음 편에서 이 도구를 들고 독파모의 3.2점으로 돌아간다.

점수는 측정값이고, 측정값에는 오차가 있다

벤치마크 정확도는 "문항이라는 표본에서 추정한 모델 능력"이다. 그러면 표본 오차가 있다. Anthropic의 "Adding Error Bars to Evals"가 이걸 정식으로 정리했다. 정확도 p, 문항 수 n일 때 표준오차는 √(p(1−p)/n)이고, 여기서 바로 실무 감각이 나온다.

문항 수	95% 신뢰구간 반폭 (p=0.7 부근)
100	약 ±9.0%p
300	약 ±5.2%p
1,000	약 ±2.8%p
14,000 (MMLU 규모)	약 ±0.8%p

(필자 계산, 위 논문의 공식.)

같은 논문의 검정력 계산으로는, 두 모델의 3%p 차이를 80% 검정력으로 판별하는 데 약 969문항이 필요하다. 그래서 저자의 권고가 "새 평가셋은 최소 1,000문항"이다. 300문항짜리 평가로 1점 차이를 논하는 것은 동전 던지기를 리포트하는 것과 다르지 않다.

이건 시작일 뿐이다. 표본 오차는 오차의 하한이고, 실제로는 측정 조건이 점수를 훨씬 크게 흔든다.

같은 모델, 같은 시험, 다른 점수

• 구현체(하네스)만 바꿔도: 같은 llama-65b의 MMLU가 한 구현에서 0.637, 다른 구현에서 0.488 — 14.9점 차이다. Falcon-7B의 ARC는 14.3점, Mistral-7B의 MMLU는 10.3점 벌어졌다. 전부 공개된 재현 실험이다.
• 프롬프트 서식만 바꿔도: 같은 문제를 묻는 형식만 바꿔 Mistral-7B의 ARC가 +22.3%p 움직였고, 극단적인 사례로는 서식 변경만으로 최대 76점까지 움직인 보고가 있다.
• 객관식 보기 순서만 바꿔도: llama-30B의 MMLU가 41.2%~68.2%, 27.0점 스윙.
• 문항을 같은 뜻으로 바꿔 쓰기만 해도: 한 모델이 벤치마크 순위 1위와 9위 사이를 오갔다.

한국어 실측도 있다. 같은 EXAONE-3.5-32B의 KMMLU를 LG는 57.0으로, SKT는 57.17로, 카카오는 46.36으로 보고했다 — 10.8점 차이다. 부정이 아니다. 원인은 규명돼 있다 — 카카오는 5-shot direct, LG는 0-shot CoT 프로토콜을 썼다. 측정 프로토콜을 명시하지 않은 점수는 비교 대상이 아니라는 뜻이다. 독파모의 NIA 벤치마크 15점이 어떤 프로토콜(샷 수, CoT 여부, 반복 횟수, 온도)로 측정됐는지는 공개되지 않았다.

업계 전체가 이 기준에 못 미친다 — 그래서 기회다

공정하게 말하면 이건 독파모만의 문제가 아니다. 벤치마크 관행을 감사한 BetterBench 연구는 유명 벤치마크 24개를 심사해 대부분이 통계적 유의성 자체를 보고하지 않는다고 결론지었다. 신뢰구간을 붙이는 것만으로 상위 몇 %에 드는 것이 2026년 현재 업계의 수준이다.

그리고 바뀔 수 있다는 선례도 있다. 싱가포르 주도의 동남아 언어 평가 SEA-HELM은 논문 시점에 "단일 실행, 오차막대 없음 — 대부분의 다른 벤치마크와 마찬가지로"라고 적었다가, 지금 라이브 리더보드는 8회 독립 실행 + 부트스트랩 2,000회 + 95% 신뢰구간으로 돌아간다. 비난이 아니라 선례로 인용한다 — 국가 평가 기관이 오차막대를 다는 것은 가능하다. 이미 한 곳이 하고 있다.

반복 실행이 왜 중요한지는 국내에서 이미 실증됐다. 서강대 연구팀이 수능 수학 46문항을 모델당 3회씩 돌렸는데, 어떤 모델은 1회 정답률과 3회 통합(pass@3)의 격차가 24.6%p까지 벌어졌다(이 평가 자체의 한계는 ⑧편에서 따로 다룬다). 3회만 돌려도 드러나는 불안정성을, 1회 측정 점수만으로 비교하는 표가 시중에 얼마나 많은지 생각해 보라.

이 편의 규칙

1. 점수 하나가 아니라 점수 ± 신뢰구간을 보고하라. n을 모르면 신뢰구간을 계산할 수 없고, 신뢰구간이 없으면 순위는 해석 불가능하다.
2. 측정 조건(하네스 버전, 프롬프트 템플릿, 샷 수, 반복 횟수, 온도)을 점수와 함께 적어라. 조건이 다른 점수를 한 표에 넣는 순간 그 표는 무효다.
3. 1,000문항 미만의 평가로 3%p 미만의 차이를 주장하지 마라.

이제 도구가 준비됐다. 다음 편에서 이 도구를 독파모의 점수표에 실제로 들이댄다. 예고하면 — 계산 결과는 필자가 예상했던 것과 달랐다.

— 독파모 평가 해부 ③ / 다음 글: 3.2점에 오차막대를 붙여봤다

독파모 평가 해부 ② — 100점 중 15점은 아무 일도 하지 않았다

①편에서 점수표의 산수가 맞는다는 걸 확인했다. 이번 편은 그 표를 다른 각도에서 읽는다. 배점표에 적힌 숫자와, 실제로 순위를 만든 숫자는 다르다.

배점은 의도이고, 분산이 현실이다

배점표는 이렇게 말한다 — 전문가 평가가 35점으로 가장 중요하고, AAII가 25점, NIA 벤치마크와 전문사용자가 각 15점, 일반국민이 10점이다. 그런데 어떤 항목이 순위에 실제로 기여하는지는 배점이 아니라 그 항목이 팀 간에 만들어내는 점수 차이(분산)가 결정한다. 모든 팀에게 똑같은 점수를 주는 항목은 배점이 100점이어도 순위에 아무 영향이 없다.

네 팀의 항목별 점수에서 각 항목이 총점 분산에 기여한 몫을 계산하면(필자 계산, n=4의 기술통계임을 명시한다 — "이 4팀에서 그랬다"는 뜻이지 보편 법칙이 아니다):

항목	명목 배점	4팀 격차	실효 가중치	배율
AAII	25	4.1	41.7%	×1.67
AI 전문사용자	15	3.2	28.9%	×1.93
전문가	35	2.4	16.9%	×0.48
일반국민	10	1.9	10.9%	×1.09
NIA 벤치마크	15	0.7	1.7%	×0.11

배점표와 현실이 정반대다.

• 명목 배점이 가장 큰 전문가 35점의 실효 가중치는 16.9% — 배점의 절반도 작동하지 않았다.
• 명목 15점짜리 전문사용자가 실효 2위(28.9%)다. 배점 대비 거의 2배로 작동했다.
• 그리고 NIA 벤치마크 15점의 실효 가중치는 1.7%다.

100점 중 15점은 아무 일도 하지 않았다

NIA 벤치마크 항목의 네 팀 점수는 12.7, 12.8, 13.3, 13.4다. 변별폭이 0.7점 — 만점의 4.7%다. 네 팀이 사실상 같은 점수를 받았고, 이 항목은 상수였다.

왜 이렇게 됐는지는 범주별 원점수에 단서가 있다. NIA 벤치마크 8개 범주 중 지시이행은 네 팀이 99.8~100.0, 사회적 안전성은 98.8~100.0이다. 완전히 포화된 시험지다. 모두가 100점을 받는 시험은 아무것도 재지 못한다 — 시험이 쉬워서 모두가 잘하는 것인지, 모두가 잘해서 시험이 의미 없어진 것인지조차 구분할 수 없다.

이건 이 사업만의 문제가 아니라 한국어 벤치마크 전반의 상태다(⑧편에서 본다). 참고로 벤치마크 설계 문헌에는 기저 정답률이 60~95% 구간을 벗어나면 변별력이 사라진다는 실무 기준이 있다. 99.8%는 그 상한을 한참 벗어나 있다. 국가 벤치마크의 절반이 죽은 눈금 위에서 채점됐다.

공정하게: 가중치를 바꿔도 순위는 안 바뀐다

여기서 멈추면 "가중치 장난으로 결과가 뒤집혔다"는 인상이 남을 텐데, 그건 사실이 아니다. 검산해 봤다.

• 다섯 항목을 균등 배점(20/20/20/20/20)으로 바꿔도 순위는 SKT > 업스테이지 > LG > 모티프 그대로다.
• 순위가 바뀌려면 벤치마크 블록의 비중을 약 60% 이상으로 올려야 한다.
• AAII의 환산 상한 문제(①편의 "도달 불가능한 9.25점")를 실제 세계 최고 63점 기준으로 고쳐 다시 계산해도 모티프는 여전히 4위다(72.68 vs LG 73.48, 100점 환산).

즉 모티프가 이의제기에서 주장한 "AAII 격차 16점이 4점으로 압축됐다"는 수치적으로 정확하지만, 그 압축을 고쳐도 결과는 바뀌지 않는다. 이 결과는 가중치의 소소한 변경에 견고하다. 이건 정부에게 유리한 사실이고, 그래서 그대로 쓴다.

하지만 이 견고함이 말해 주는 것을 정확히 읽어야 한다. 순위가 안 바뀌는 이유는 모티프가 사람 평가 세 항목에서 전부, 크게 졌기 때문이다(전문가 −2.4, 전문사용자 −3.2, 일반국민 −1.9). 그러니 진짜 질문은 가중치가 아니라 이것이다 — 그 사람 점수들은 무엇을 잰 것인가. 그리고 벤치마크에서 이기고 사람 평가에서 진 팀을 자르는 것이 "글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 정합적인가.

이 편의 교훈 — 우리 회사용

자체 평가 체계를 설계할 때 그대로 가져갈 규칙 세 개.

1. 가중치는 배점이 아니라 분산으로 정의된다. 배점표를 만들었으면 시뮬레이션으로 실효 가중치를 확인하라. 우리가 중요하다고 적은 항목이 실제로 순위를 움직이는지.
2. 포화된 지표는 배점에서 빼거나 어렵게 만들어라. 전 대상이 95%를 넘는 항목은 눈금이 아니라 장식이다.
3. 민감도 분석을 발표에 포함하라. "가중치를 바꿔도 결론이 유지되는가"는 한 시간짜리 계산이고, 이번처럼 결론이 견고하다면 그건 평가자에게 유리한 증거다. 왜 이 계산을 정부가 아니라 블로거가 하고 있는지 모르겠다.

다음 질문. 격차가 0.7점, 0.9점, 3.2점이라는데 — 이 숫자들에 오차막대를 붙이면 어떻게 될까. 그 전에, 애초에 모델 평가 점수라는 게 얼마나 흔들리는 물건인지부터 보자.

— 독파모 평가 해부 ② / 다음 글: 평가는 실험이다 — 그런데 이 실험엔 표준오차가 없다

독파모 평가 해부 ① — 70.6, 69.9, 69.0, 65.8: 이 표를 먼저 검증했다

2026년 8월, 정부가 독자 AI 파운데이션 모델 사업(독파모) 2차 단계평가 성적을 전부 공개했다. 네 팀이 100점 만점으로 채점됐고, 최하위 한 팀이 탈락했다. 이 시리즈는 그 평가를 해부한다. 결론부터 말하면 배점표를 만든 규칙에 심각한 문제가 있다고 주장할 것이다. 그래서 더더욱, 비판을 시작하기 전에 정부의 산수부터 검산했다.

먼저 이 시리즈 전체의 출처 한계를 밝힌다. 수치는 과기정통부·NIPA 발표와 이를 인용한 보도, 그리고 korea.kr 정책브리핑 원문에서 가져왔다. 평가에 쓰인 문항, 채점 원자료, 환산식은 공개되지 않았으므로 일부는 필자가 역산했고, 그런 값은 전부 필자 계산으로 표기한다.

공개된 점수표

팀	AAII (25)	NIA 벤치 (15)	전문가 (35)	전문사용자 (15)	일반국민 (10)	총점
SK텔레콤	8.8	13.4	29.3	11.6	7.5	70.6
업스테이지	9.4	13.3	29.1	10.8	7.3	69.9
LG AI연구원	7.8	12.8	29.5	11.3	7.6	69.0
모티프	11.9	12.7	27.1	8.4	5.7	65.8

검산 결과부터. 네 팀 모두 다섯 항목의 합이 총점과 소수점까지 정확히 일치한다(8.8+13.4+29.3+11.6+7.5 = 70.6, 나머지 세 팀도 동일). 별도로 발표된 파생 수치들 — 벤치마크 평균 22.5점, 벤치마크 1~4위 격차 4.0점, 사용자 평가 격차 5.0점 — 도 이 표에서 전부 재현된다. 산수는 맞다. 이 시리즈의 논지는 "숫자가 틀렸다"가 아니다. "숫자를 만든 규칙이 틀렸다"다.

표에서 바로 보이는 사실 하나를 짚고 가자. 과기정통부 발표 기준으로 모티프는 벤치마크 소계(AAII+NIA) 1위(24.6/40)이면서 종합 4위로 탈락했다. 벤치마크에서 이기고 사람 평가에서 진 것이다. 이게 정당한 결과인지 아닌지는 아직 판단하지 않는다 — 시리즈가 끝날 때까지 판단을 미뤄 달라. 다만 이 구도가 이 시리즈 전체의 출발점이다.

공개되지 않은 환산식을 역산했다

AAII는 Artificial Analysis Intelligence Index라는 외부 지수다(⑦편에서 해부한다). 이 지수의 원점수를 25점 만점으로 어떻게 바꿨는지, 즉 환산식은 공개되지 않았다. 그래서 역산해 봤다. 평가 시점의 AA 리더보드 원점수를 x라 하고 각 팀의 AAII 항목 점수와 비교하면:

팀 / 모델	AA 원점수	÷4	발표 점수	잔차
모티프 3	47	11.75	11.9	+0.06 이내
Solar Open 2 (업스테이지)	37+	9.35	9.4	+0.06 이내
A.X K2 (SKT)	35	8.75	8.8	+0.06 이내
K-EXAONE 2.0 (LG)	31	7.75	7.8	+0.06 이내

(필자 계산. AA 원점수는 2026-08 시점 리더보드 값.)

환산식은 "AA 원점수 ÷ 4"다. 네 팀의 잔차가 전부 0.06점 이내이고 부호까지 같다(0.1 단위 올림으로 설명된다). 이보다 잘 맞는 다른 가설은 찾지 못했다 — 예컨대 "세계 최고 모델 대비 정규화" 가설을 대입하면 모티프가 18.8점이 나와야 하는데 실제는 11.9점이다.

이 역산은 부수적으로 흥미로운 사실 하나를 확정한다. 업스테이지가 평가받은 모델은 Solar Pro 4가 아니라 Solar Open 2다. Solar Pro 4의 AA 점수를 4로 나누면 발표 점수와 17배 큰 잔차가 생긴다. Solar Open 2만 맞는다. 언론 보도 다수가 이 구분 없이 썼는데, 두 모델은 다른 모델이다(Solar Open 2는 총 250B/활성 15B의 오픈웨이트 MoE이고, Solar Pro 4는 파라미터가 공식적으로 미공개다).

÷4라는 환산이 무엇을 의미하는지는 잠깐 멈춰서 볼 가치가 있다. AAII를 100점 만점 척도로 취급했다는 뜻인데, 평가 시점 세계 최고 모델의 AAII가 63점이다. 즉 25점 만점 중 15.75점 위로는 지구상 어떤 모델도 도달할 수 없었다. 이 설계가 결과를 바꿨는지는 뒤에서 따로 계산한다(미리 말하면: 바꾸지 않았다 — 그래서 더 흥미롭다).

이 평가에 걸려 있던 것

이건 리더보드 순위 놀이가 아니었다. 2차 평가를 통과한 세 팀은 하반기 B200 약 1,000장 규모의 GPU를 배정받고, 탈락한 모티프는 받지 못한다. 1차에서는 다섯 팀 중 네이버클라우드와 NC AI가 탈락했다. 국가가 종합점수로 줄을 세워 하위 팀의 자원을 끊는 토너먼트 구조이고, ⑨편에서 보겠지만 이 구조를 쓰는 나라를 다른 곳에서는 찾지 못했다.

그리고 탈락한 모티프는 2026-08-27 공식 이의를 제기했고, 이의 결과와 무관하게 3차에 불참하겠다고 밝혔다. 정부의 공식 답변은 이 글을 쓰는 시점(2026-08-31)까지 공개되지 않았다.

이 시리즈가 하려는 것

미리 선을 그어 둔다. 이 시리즈는 "잘못된 팀이 탈락했다"고 주장하지 않는다. 그건 필자가 알 수 없는 일이다. 이 시리즈가 주장할 것은 다음이다 — 이 평가는 결과가 옳았는지 아무도 확인할 수 없게 설계됐고, 그 설계 결함들은 하나하나 지목할 수 있으며, 고치는 비용은 놀랄 만큼 싸다. 그리고 마지막 두 편에서는 비판을 넘어, 우리 회사가(그리고 다음 국가 사업이) 그대로 쓸 수 있는 평가 프로토콜과 원화 가격표를 내놓는다.

왜 이걸 파는가. 필자도 LLM을 만들고 있고, 언젠가 누군가의 평가표 위에 올라갈 것이기 때문이다. 남의 평가를 해부해 보는 것이 내 평가 기준을 세우는 가장 빠른 길이다.

다음 질문은 이것이다 — 이 100점 중에서, 실제로 순위를 가른 점수는 몇 점이었을까. 배점표에 적힌 숫자와 실제로 작동한 숫자는 다르다.

— 독파모 평가 해부 ① / 다음 글: 100점 중 15점은 아무 일도 하지 않았다

친칠라 법칙 ⑬ (완결) — 2026년의 예산표: 사전학습 : 사후학습 : 테스트타임

친칠라는 하나의 예산을 두 축(N, D)에 나누는 문제였다. 2026년은 세 개의 예산을 나누는 문제다 — 사전학습, 사후학습(RL), 그리고 테스트타임. 마지막 편은 이 셋의 비율을 재고, 시리즈가 열두 편 내내 미뤄 둔 계산을 마무리한다. 서빙 원가를 원화로 닫는 일이다.

RL의 몫이 2년 만에 자릿수로 커졌다

모델	사전학습 : 사후학습	사후학습 비중
DeepSeek-V3	2,664K : 5K H800-시간	0.18%
Llama-Nemotron Ultra	RL 140K H100-시간	0.45%
K-EXAONE 2.0 (LG)	8.8T : 350B 토큰	3.8%
ScaleRL 8B 단일 런	RL 100K H100-시간	6.8%

0.18%에서 4~10%로, 20~50배 커졌다. MiniMax-M1은 RL만으로 512×H800을 3주, $534,700을 썼다. 참고로 이 숫자를 나눠 보면 시간당 $2.07로, DeepSeek이 가정한 $2와 맞는다 — 국내 온디맨드(VESSL H100 $2.98)는 그 1.5배다.

다만 이 표를 읽을 때 함정이 둘 있다. 첫째, RL 비중이 큰 모델은 대부분 사전학습을 물려받은 모델이다. 분자가 커진 게 아니라 분모가 사라진 것이다. 둘째, DeepSeek-R1·Kimi K2·Qwen3는 사후학습 컴퓨트를 공개하지 않는다. 그 자체가 신호다 — 경쟁 우위가 그쪽으로 이동했다는 뜻이다.

RL은 멱법칙이 아니라 시그모이드다

이게 예산 배분에서 가장 중요한 차이다. 사전학습은 돈을 부으면 손실이 계속 내려간다(멱법칙). RL은 천장이 있다. 40만 GPU-시간 규모의 체계적 실험에서 적합된 형태는 시그모이드이고, 검증 런에서 도달한 천장 A는 0.61~0.645였다.

실무적으로 결정적인 건 무엇이 천장을 움직이고 무엇이 속도만 움직이는가다.

• 천장 A를 올리는 것: 손실 함수 종류, LM head를 FP32로 두는 것(0.52 → 0.61), 배치 크기, 생성 길이, 그리고 base 모델 크기.
• 속도 B만 올리는 것: 손실 집계 방식, 정규화, 커리큘럼, off-policy 정도. 이걸 아무리 튜닝해도 천장은 그대로다.

그래서 예산 규칙이 단순해진다 — 계획한 RL 예산의 10~20%를 먼저 쓰고, 곡선을 적합해 천장 A를 읽어라. A가 목표에 못 미치면 더 붓지 말고 base 모델이나 손실 함수를 바꿔라. 실제로 8천 스텝에서 1만6천을, 5만 GPU-시간에서 10만을 정확히 외삽했다. RL은 "돈만 부으면 되는 축"이 아니다.

그리고 대안 둘이 있다. 17B×16 MoE가 8B dense를 RL 컴퓨트 6분의 1로 이겼다 — ⑧편의 활성비 논리가 RL에서도 복리로 작동한다. 더 강한 건 Qwen3의 보고다 — 증류가 RL 대비 GPU-시간 10분의 1이고 성능도 더 좋았다. ⑤편의 결론이 여기서 반복된다.

데이터 원가도 비대칭이다. Qwen3의 추론 RL은 검증 가능한 질문-검증기 쌍 3,995개로 했는데, 선호 학습(DPO)용 데이터는 42만 5천 쌍이 필요했다. 사람 선호 데이터 10만 쌍이면 2~3억 원 규모로, 7B를 처음부터 학습하는 비용과 같은 자릿수다. 수학·코드처럼 자동 채점이 가능한 과제를 고르는 것이 곧 예산 절감이다.

테스트타임 — FLOPs로는 이기고 돈으로는 진다

추론 시 여러 번 샘플링해 고르는 테스트타임 스케일링은 FLOPs를 맞춘 조건에서 14배 큰 모델을 이긴다는 결과로 유명하다. 그런데 비용으로 다시 재면 부호가 뒤집힌다.

방식	출력 100만 토큰당
7B에 32회 샘플링	약 ₩5,456
32B 한 번에	약 ₩286

19배 비싸다. FLOPs가 같아도 돈이 같지 않은 이유는 ④편에서 본 그대로다 — 작은 모델을 여러 번 돌리면 가중치 읽기가 그만큼 반복되고, 디코딩은 대역폭 바운드다. 이 둘이 비기려면 어려운 질의 2% 이하에만 다중 샘플링을 라우팅해야 한다. "작은 모델 + 많이 생각하기"는 전량 적용하면 손해이고, 선별 적용해야 이득이다.

그래서 서빙 원가가 얼마인가 — 시리즈의 마지막 계산

기준은 ⑩편과 동일하다(H100 $2.98/시간, 환율 1,380원). 출력 토큰 100만 개당 원가를 배치를 제대로 채운 조건에서 계산하면:

모델	₩ / 출력 100만 토큰
30B 총 / 3B 활성 MoE	약 ₩95
7B dense	약 ₩171
32B dense	약 ₩286

검산이 된다 — 32B 추정치가 상용 서빙 업체의 실제 공시가와 1.35배 이내로 맞는다. 그리고 MoE의 값어치가 여기서 숫자로 보인다. 총 30B짜리가 7B dense보다 싸다. 활성 파라미터가 3B이기 때문이다.

그런데 이 표는 낙관적이다. 위 값은 GPU가 100% 가동될 때의 이야기다. 실제로 월 1,000만 요청 서비스라면 H100 한 장의 가동률이 약 12%에 그치고, 그러면 실효 원가가 ₩1,396 / 100만 토큰으로 8배가 된다. 트래픽이 없으면 GPU는 놀면서 돈을 먹는다.

여기서 이 시리즈에서 가장 불편한 결론이 나온다.

• 8B 모델은 온디맨드 H100에서 100% 가동해도 API 가격을 못 이긴다.
• 32B 자체 서빙이 API보다 싸지는 손익분기가 월 3,600만 요청 수준이다.

⑩편에서 "자체 LLM은 2억 원짜리 문장"이라고 했는데, 그 2억을 쓰고 나서도 서빙 물량이 없으면 API보다 비싸다.

회수 기간을 계산하면 — 100년이 넘는다

이제 ⑪편의 질문에 숫자로 답할 수 있다. 7B를 처음부터 학습하는 비용(약 ₩1.95억)과 한국어 CPT 비용(약 ₩243만)의 차이가 약 ₩1.93억이다. 이걸 서빙 절감으로 회수하려면 얼마나 걸릴까.

토큰 효율이 30% 개선된다고 후하게 가정해도, 월 1,000만 요청 기준 회수 기간이 100년을 훌쩍 넘는다. 24개월 안에 회수하려면 월 수억 건, 초당 수백 건의 트래픽이 필요하다.

더 직관적인 환산도 있다. 누적 10억 요청을 서빙하는 총 원가가 약 ₩3,700만이다. 사전학습 한 번 값의 7분의 1이다. 서빙 비용이 사전학습 비용과 같아지려면 70억 요청이 필요하다.

④편에서 인용한 "손익분기 10억 요청"을 여기서 정정해야 한다. 그건 회수 조건이 아니라 모델 형상 규칙이다 — "10억 요청을 예상하면 모델을 더 작고 더 오래 학습시켜라"는 말이지, "10억 요청이면 자체 학습이 회수된다"는 말이 아니다. 대부분의 한국 서비스에서 처음부터 학습은 재무적으로 회수되지 않는다.

그리고 이미 공짜로 놓인 500억 원

그렇다면 물려받는 쪽의 값어치를 세어 보자. Qwen3-8B는 파라미터당 약 4,500토큰을 먹은 모델이다. ⑩편의 단가로 이 학습을 재현하는 데 드는 돈을 계산하면 약 50억 원이다.

그게 무료로 공개돼 있다. ⑪편에서 본 SKT의 결과 — 밑바닥 34B가 남의 72B에 CPT한 것에 모든 축에서 졌다는 사실 — 은 이 관점에서 당연하다. 한쪽은 2억을 썼고 다른 쪽은 남이 쓴 수백억을 물려받은 뒤 2백만 원을 얹었다.

1년 예산 5억 원을 어떻게 나눌 것인가

지금까지의 모든 숫자를 하나의 예산표로 접으면 이렇게 된다.

항목	비중	근거
사람 · 데이터 · 평가	약 46%	프런티어 총비용 구성에서도 인력이 29~49%(⑩편)
사후학습(RL·SFT)	약 12%	업계 비중 4~10%의 상단, 천장 A를 15%로 먼저 측정
CPT · 토크나이저 · 어닐링	한 자릿수 %	7B/20B 토큰 CPT가 ₩243만(⑩편)
서빙 인프라	나머지 대부분	가동률이 원가를 8배 흔든다
처음부터 사전학습	1% 미만	애초에 5억으로는 7B 하나도 못 만든다

최종 의사결정 시트

1. 누적 요청 수를 먼저 적어라. 10억을 넘길 것 같으면 모델 형상을 "더 작고 더 오래"로 잡아라(④편). 다만 그게 자체 학습을 정당화하지는 않는다.
2. 파인튜닝·양자화 계획이 있으면 D/N을 2,000~2,500 아래로. 그리고 배포할 정밀도로 벤치마크하라(⑤편).
3. 한국어 고유 토큰이 1,440억에 못 미치면 답은 CPT다. 그 경계는 전이 스케일링 법칙이 주는 숫자이고, 대부분의 국내 팀이 그 아래에 있다(⑦편). 그 CPT는 전체 파라미터로 하고(LoRA 금지), 원본 데이터를 5% 섞어라 — 그것만으로 망각의 71%가 사라진다(⑪편).
4. 토크나이저를 먼저 고쳐라. 학습비·추론비·컨텍스트에 동시에 작용하는 유일한 항목이다(⑦편).
5. MoE를 쓸 수 있으면 써라. 서빙 원가가 활성 파라미터에 붙으므로, 총 30B/활성 3B가 7B dense보다 싸다(⑧·⑬편).
6. RL은 15%를 먼저 쓰고 천장을 읽어라. 안 오르면 더 붓지 말고 base를 바꾸거나 증류로 가라.
7. 그래도 직접 계수를 적합하고 싶다면 $1,800이다. 그건 거의 언제나 남는 투자다(⑫편).
8. 그리고 로깅하라. 스텝별 손실, 토큰과 바이트, 비임베딩 M, MFU, 시드, 데이터 스냅샷 해시. 최종 손실 하나만 저장하는 게 가장 흔하고 가장 비싼 실수다.

마지막으로

열세 편을 관통하는 문장을 하나만 남긴다면 이것이다. 친칠라의 20:1은 물리 상수가 아니라 (모델 크기 구간 × 스케줄 × 데이터 품질 × 목적함수)의 함수였고, 우리는 그 네 변수가 전부 다른 자리에 서 있다. 국내 어느 팀도 20:1을 지키지 않는 건 무지가 아니라 계산이다.

그리고 그 계산의 끝에는 겸손한 결론이 있다. 자체 LLM은 2억 원짜리 문장이고, 한국어 특화는 240만 원짜리 문장이며, 후자가 전자를 이긴 실측이 국내에 이미 있다. 2억을 아껴 서빙 가동률을 고치고, 마지막 10%의 데이터를 갈아엎고, 토크나이저를 다시 짜라. 스케일링 법칙이 답해 주지 않는 그 일들이 실제 의사결정의 대부분이다.

그리고 남의 숫자로 결정하지 말자. 벤치마크 점수는 누가 돌렸느냐에 따라 10점씩 흔들리고, 대기업 논문의 계수도 틀린다. 우리 팀의 계수는 우리 로그에서만 나온다.

— 친칠라 법칙 시리즈 ⑬ (완결) / 관련 시리즈: LLM 서빙 캐싱(추론 비용), RAG 종류 총정리, RAG 실전, 에이전트 설계, 사용자 의도 분석과 LLM 라우팅

친칠라 법칙 ⑫ — 우리 팀의 스케일링 법칙을 $1,800에 적합하기

②편의 결론은 "남의 계수를 베낄 수 없다"였다. 같은 방법론에 데이터만 바꿔도 지수가 0.450에서 0.578로 움직이니까. 그러면 직접 적합해야 하는데, 친칠라가 400개 모델을 돌렸다는 얘기를 들으면 포기하게 된다. 그럴 필요 없다. 이번 편은 스케일링 법칙 적합의 실제 견적서다.

모델 5개면 된다 — 그리고 오차 4%가 바닥이다

기준점은 485개 공개 모델로 1,000개 이상의 스케일링 법칙을 적합한 연구다. 결론 세 줄이 이 편의 뼈대다.

• "모델 5개면 안전한 선택이고, 더 많으면 견고성이 올라간다. 이 모델들은 작아도 된다."
• 상대오차(ARE) 4%가 현실적으로 얻을 수 있는 최선이다. 이유는 초기화 시드만 바꿔도 손실이 최대 4%까지 흔들리기 때문이다. 그 아래를 노리는 건 노이즈를 쫓는 것이다.
• 동시에 오차 20%짜리 법칙도 쓸모가 있다. "A 데이터가 B보다 낫다", "이 아키텍처가 저것보다 낫다" 같은 판정에는 충분하다.

그리고 가장 값싼 정확도 개선이 여기 있다 — 학습 초반 10B 토큰 구간의 체크포인트를 버려라. 이것만으로 OPT·Pythia처럼 오차가 15%를 넘던 경우가 4~10%로 떨어진다. 코드 세 줄이다.

부수적으로 나온 반직관적 조언 하나 — 큰 모델 1개보다 작은 모델 여러 개가 나을 때가 있다. 시드 분산 때문이다. 예산이 빠듯할수록 이 사실이 유리하게 작동한다.

스윕을 망치는 건 스케일이 아니라 하이퍼파라미터

②편에서 봤듯 소규모 모델의 하이퍼파라미터를 튜닝하지 않으면 지수 자체가 왜곡된다. 이를 구조적으로 막는 게 muP인데, muP를 "성능 기법"으로 오해하는 경우가 많다. Cerebras-GPT의 숫자가 정확한 그림을 준다.

• 손실 개선 0.43%, 다운스트림 +1.7% — 성능 이득은 소박하다.
• 그런데 자기 스케일링 법칙 대비 표준편차가 muP 0.04% vs 표준 파라미터화 0.66%다. 16배 조용하다.

muP의 진짜 가치는 성능이 아니라 분산이다. 오차 4%가 바닥인 게임에서 노이즈를 16분의 1로 줄이는 도구는 성능 향상보다 훨씬 값지다. 튜닝 비용도 싸다 — 40M 프록시에서 전이한 하이퍼파라미터로 GPT-3 6.7B 공개 성능을 넘겼고, 튜닝 비용은 사전학습의 7%였다. 국내에서는 네이버 HyperCLOVA X THINK가 μP를 명시한 사례다.

다만 반전이 있다. DeepMind가 수만 개 모델, 최대 26.8B로 검증한 결과는 "muP만 하이퍼파라미터 전이가 가능한 게 아니다"였다 — 레이어별 학습률을 쓴 표준 파라미터화가 muP를 능가하기도 했다. 어느 처방이냐보다 일관되게 쓰는 것이 중요하다. 그리고 무엇을 쓰든 coord check(폭을 128에서 2048까지 키우며 레이어별 활성값이 폭에 무관한지 확인)는 반드시 통과해야 한다. 여기서 실패하면 이후 스윕이 전부 무의미하다.

배치 크기 처방에는 함정이 하나 있다. ②편에서 Porian이 부수적으로 얻은 값이 B ∝ N^0.28~0.32였는데, 이걸 그대로 스윕에 적용하면 결과가 망가진다.

이유는 이렇다. 컴퓨트 최적 궤적 위에서는 N과 D가 함께 커지므로 "B를 N에 묶는다"와 "B를 D에 묶는다"가 같은 곡선이다. 그런데 IsoFLOP 밴드 안에서는 C가 고정이라 D = C/(6N)이고, N을 키우면 D가 줄어든다. 두 처방의 부호가 정반대가 된다. 이때 N 기반 처방을 쓰면 큰 N 지점이 부당하게 불리해져 포물선 최저점이 왼쪽으로 밀린다.

정답은 후자다. 임계 배치 크기는 모델 크기가 아니라 데이터 크기를 따라 스케일한다는 것이 이 케이스를 겨냥한 결론이다. 실용적인 형태는 MiniCPM의 bs = 1.21×10⁹ / L^6.24인데, 손실이 N과 D를 모두 요약하므로 셋을 통합한다. 같은 연구에서 10배 크기 변화에도 최적 base 학습률이 약 0.01로 거의 불변이었다.

WSD가 규칙을 바꿨다 — 중간 체크포인트가 공짜 데이터가 된다

전통적인 코사인 스케줄에서는 런 하나가 데이터포인트 하나다. 중간 체크포인트는 학습률이 아직 높아 "미완성"이라 쓸 수 없기 때문이다. WSD(Warmup-Stable-Decay)가 이걸 뒤집는다 — 안정 구간의 아무 지점에서나 짧은 감쇠만 붙이면 완성된 모델이 나오므로, 런 하나에서 여러 개의 적합 데이터포인트를 뽑을 수 있다. 스윕 비용이 제곱에서 선형으로 떨어진다.

실무 수치 하나만 기억하면 된다 — 감쇠 구간은 총 토큰의 10%가 필요하고, 2.5%로는 부족하다. 그리고 여기서 더 나간 연구는 학습률 어닐링을 손실 함수에 직접 넣어 1~2회 런만으로 임의 스케줄·임의 스텝의 손실을 예측하는데, 친칠라 방식 대비 컴퓨트가 약 1%다.

손실이 아니라 벤치마크를 예측해야 돈이 된다

경영진이 궁금해하는 건 손실 값이 아니라 "그래서 KMMLU가 몇 점 나오느냐"다. 여기에 두 가지 함정이 있다.

첫째, 정확도에 직접 적합하면 계단이 생긴다. 이른바 "창발적 능력"의 상당 부분이 지표 선택의 산물이라는 것이 밝혀져 있다 — 불연속 지표(정확도)는 계단을, 연속 지표는 매끄러운 개선을 만든다. 심지어 지표를 조작해 비전 네트워크에서 창발을 인위적으로 만들어 낼 수도 있었다. 적합용 프록시는 반드시 연속 지표여야 한다(정답 토큰의 로그우도 등).

둘째, 2단계로 예측해야 한다. (모델·데이터) → 중간 손실 → 태스크 정확도. AI2의 "모델 사다리" 연구가 이 방식으로 타깃 컴퓨트의 1%만 쓰고 7B@4T·13B@5T 모델의 객관식 태스크 정확도를 절대오차 2%p 이내로 예측했다. 다만 체크포인트 간 지표 분산이 큰 태스크일수록 예측 오차가 크다는 단서가 붙는다.

한국어에서는 x축과 D의 단위부터 다시 정해야 한다

②편에서 Kaplan과 친칠라를 갈라놓은 게 임베딩 카운트였다는 걸 봤다. 한국어 모델에서는 이게 훨씬 심각하다.

• 어휘 10만 × d_model 768 = 임베딩만 76.8M. 사다리 하단(수천만 파라미터)에서는 임베딩이 본체보다 크다. 그러니 x축을 파라미터 수가 아니라 비임베딩 M = 72·n_layer·d_model² + 12·n_layer·d_model·l_seq로 잡아야 한다. 한국어에서는 선택이 아니라 필수다.
• 토크나이저를 바꾸면 D의 단위가 바뀐다. 같은 한국어 문서가 HyperCLOVA X에서는 676토큰, GPT-4에서는 1,420토큰이다. "20 tokens/param"의 20이 토크나이저에 따라 이동한다는 뜻이다. 토큰과 바이트(또는 문자) 두 축으로 모두 적합해 두라.
• 그리고 압축률 2배 좋은 토크나이저는 같은 컴퓨트로 2배의 정보를 넣는 것이므로, 데이터 품질 개선과 동등하게 취급해야 한다 — 즉 지수 a를 끌어올린다.

견적서 — 실비 얼마면 되나

⑩편의 기준(H100 dense 989.5 TFLOPS, MFU 40%, VESSL $2.98/시간)으로 환산하면 GPU-시간당 1.425×10¹⁸ FLOPs다. 이 환율로 레시피의 실비를 계산하면 이렇다.

단계	실비
공짜 사전조사(공개 모델로 태스크 선별)	0
muP 셋업 + coord check	< $20
학습률·배치 프록시 스윕(폭 3종 × 54런)	$10~50
IsoFLOP 본 스윕(6밴드 × 6~8점, 최대 1e20)	약 $1,800 (약 600 GPU-시간)
시드 반복(하위 3밴드 × 3시드)	약 $110
적합(2가지 방법 교차 + 부트스트랩 CI)	0 (CPU)
홀드아웃 검증 런(스윕 최대의 10배)	약 $2,090
다운스트림 사다리(체크포인트 재사용)	$0

즉 본 스윕이 $1,800, 검증까지 합쳐도 $4,000 남짓이다. 국내 비교 기준점으로 Trillion-7B가 공개한 실제 학습비가 59.4K H100-시간 / $148K인데, 이 레시피 전체가 그 3% 미만이다. 스케일링 법칙 적합은 이미 중소 팀 예산 안에 있다.

그런데 적합하지 말아야 할 때도 있다

가장 값싼 조언은 "안 해도 되는 경우를 알아두라"는 것이다.

• 데이터셋 후보의 순위만 알고 싶다면 법칙을 적합하지 마라. 25개 사전학습 레시피를 비교한 DataDecide의 결과에 따르면, 단일 150M 지점의 순위가 1B 타깃의 최적 데이터셋을 약 80% 맞힌다. 그리고 테스트한 8개의 스케일링 법칙 방법 중 어느 것도 이 단순한 베이스라인을 능가하지 못했다. MMLU·ARC·HellaSwag 같은 지표는 컴퓨트의 0.01%로 80% 이상 예측됐다.
• 다만 이 결과의 범위를 정확히 알아야 한다 — DataDecide가 답한 건 "어느 데이터셋인가"이지 "어떤 비율인가"가 아니다. 25개 레시피 중 혼합 비율을 바꾼 건 세 점뿐이고, 논문은 그 부분집합의 정확도를 따로 보고하지 않는다. 비율 탐색은 ⑦편에서 본 RegMix식 접근(목표 런의 약 2%)으로 따로 풀어야 한다.
• 다운스트림 정확도에 직접 적합하지 마라. 불연속 지표에 적합하면 계단이 생기고, 그게 이른바 "창발"의 상당 부분이다. 지표를 연속형으로 바꾸면 사라진다. 반드시 (모델·데이터) → 손실 → 정확도의 2단계로 가고, 프록시는 연속 지표(정답 토큰 로그우도 등)를 쓰라. AI2의 모델 사다리가 이 방식으로 타깃 컴퓨트의 1%만 쓰고 7B@4T·13B@5T의 객관식 정확도를 절대오차 2%p 이내로 예측했다.

마지막으로 함정 체크리스트를 남긴다. ① coord check 미통과(IsoFLOP 포물선이 비대칭이면 의심). ② 적합 구간이 좁음(밴드는 최소 2.5 오더). ③ 초기 체크포인트 오염(첫 10B 토큰 제거). ④ 시드 노이즈(3시드로 측정하고, 오차 4% 미만을 목표로 삼지 말 것). ⑤ 불연속 지표. ⑥ 임베딩 오염(비임베딩 M 사용). ⑦ 과신하는 신뢰구간 — ①편의 폭 0.001 사건이 대기업 논문에서도 일어난다. 반드시 두 가지 적합법을 교차하고 부트스트랩으로 신뢰구간을 직접 구하라. 두 방법이 불일치하면 멈추고 데이터를 의심하라.

그리고 로깅은 아끼지 마라. 스텝별 손실, 소비 토큰과 바이트 둘 다, 비임베딩 M, 총 FLOPs, 학습률·배치, grad norm, MFU, 시드, 데이터 스냅샷 해시, 체크포인트별 연속 다운스트림 지표. 최종 손실 하나만 저장하는 것이 가장 흔하고 가장 비싼 실수다.

— 친칠라 법칙 시리즈 ⑫ / 다음 글: 2026년의 예산표 — 사전학습 : 사후학습 : 테스트타임 (완결)

친칠라 법칙 ⑪ — 아무도 친칠라를 지키지 않았고, 아무도 밑바닥부터 만들지 않았다

이론은 여기까지다. 국내 대기업 여섯 곳의 기술 리포트를 열어 파라미터·토큰·FLOPs를 전부 계산해 봤다. 결론은 두 문장으로 요약된다. 친칠라 최적을 지킨 팀은 하나도 없다. 그리고 최신 모델을 처음부터 만든 팀도 하나도 없다.

실측 토큰/파라미터 배율

모델	파라미터 / 토큰	배율
SKT A.X 3.1	34B / 2.1T	62×
KT Mi:dm 2.0 Mini	2.3B / ≈331B	144×
LG EXAONE 3.5 32B	32B / 6.5T	203×
LG EXAONE 4.0 32B	32B / 14T	437×
LG K-EXAONE (활성 기준)	23B 활성 / 11T	478×
LG EXAONE 3.0	7.8B / 8T	1,026×
LG EXAONE 3.5 7.8B	7.8B / 9T	1,154×
LG EXAONE 3.5 2.4B	2.4B / 6.5T	2,708×
LG EXAONE 4.0 1.2B	1.2B / 12T	10,000×

가장 낮은 값이 62배다. 친칠라의 20배는 국내 실무에서 하한선조차 아니다. 온디바이스용 1.2B는 최적의 500배를 먹였는데, ⑤편에서 봤듯 그 자리가 하필 양자화가 가장 안 먹는 구간이다.

그리고 이 표에서 가장 이상한 줄은 EXAONE 3.5다. 7.8B 모델에 9T 토큰을 먹이고, 32B 모델에는 6.5T를 먹였다. 작은 모델이 큰 모델보다 더 많이 학습했다. 친칠라라면 정반대여야 한다. 실수가 아니라 ④편에서 본 추론 인지 스케일링의 교과서적 구현이다 — 작은 모델일수록 많이 팔리고 서빙 비용은 파라미터에 비례하니, 작은 모델에 학습비를 더 태우는 게 총비용 최적이다. "학습 1회, 추론 무한회"의 산수가 스케일링 법칙을 이겼다는 국내 최고의 실물 증거다.

참고로 EXAONE 3.5는 세 모델의 FLOPs를 전부 공개했는데(1.25e24 / 4.21e23 / 9.36e22) 셋 다 6ND와 정확히 일치한다. 카카오 Kanana는 아예 그림 캡션에 "6 × 학습 토큰 × 모델 크기"라고 적어 놓았다.

그런데 국내 모델의 절반은 이 비율을 계산할 수 없다

위 표를 만들면서 확인한 사실 하나를 정직하게 밝혀야 한다. Depth Up-Scaling이나 upcycling으로 만든 모델에는 토큰/파라미터 비율을 쓸 수 없다.

예를 들어 카카오 Kanana Flag 32.5B를 "3T 토큰 ÷ 32.5B = 92배"로 계산하면 틀린다. 32.5B 모델이 3T를 본 게 아니다. 26.8B 모델이 3T를 봤고, 그걸 32.5B로 부풀린 뒤 200B만 추가로 봤다. 같은 문제가 K-EXAONE 2.0(236B → 750B), KT Mi:dm 2.0 Base(8B급 → 11.5B), 업스테이지 Solar Pro(Phi-3-medium 14B → 22B), Llama-3-Motif(70B → 102B)에 전부 해당한다.

즉 국내 모델의 절반은 "이 모델은 파라미터당 몇 토큰을 봤나"라는 질문이 정의되지 않는 모델이다. 이건 결함이 아니라 이 시리즈가 다루는 현상 그 자체다 — 국내 팀들은 친칠라의 좌표계 자체를 떠났다.

여섯 팀이 같은 레시피로 수렴했다

리포트를 나란히 놓으면 골격이 하나로 겹친다 — ① 중간 크기 base 확보 → ② Depth Up-Scaling으로 부풀리기 → ③ Pruning + Distillation으로 작은 모델 뽑기.

팀	① base	② 부풀리기	③ 줄이기
업스테이지	Mistral 7B	DUS → 48층 10.7B	—
카카오	8B / 26.8B	DUS → 9.8B / 32.5B	8B → 2.1B
KT	8B급(32층)	DUS → 48층 11.5B	→ Mini 2.3B
네이버	THINK (6T)	—	→ SEED Think 14B
LG	K-EXAONE 236B	upcycle → 750B	—
모티프	Llama 3 70B	→ 102B (194B 토큰)	—

절감률을 숫자로 공개한 건 카카오가 가장 구체적이다 — Depth Up-Scaling은 처음부터 학습 대비 총 컴퓨트를 11.06% 절감했고(각 200B 토큰만 추가), Pruning + Distillation은 2.1B 모델을 0.3T 토큰으로 만들었다 — 처음부터 학습(3T)의 10분의 1이면서 성능은 더 좋았다. 그 결과 Kanana Flag 32.5B의 총 학습 컴퓨트가 Llama 3.1 8B보다도 낮다.

그리고 국내 최대 규모 모델조차 처음부터 학습이 아니다. LG의 K-EXAONE 2.0(총 750B / 활성 37B)은 236B MoE를 깊이 48→78층, 폭 128→256 전문가로 부풀린 것이다. 전문가를 복제할 때 무작위 회전 노이즈로 대칭을 깨는 기법까지 동원했다. 국내 최대 모델의 정체는 재활용이다.

국내 유일하게 공개된 원화 숫자: 902만 원

⑩편에서 국내 클라우드가 GPU 가격을 공개하지 않는다고 했는데, 학습 비용도 마찬가지다. 금액을 공개한 국내 리포트는 사실상 하나뿐이다 — 네이버 HyperCLOVA X SEED의 모델카드다.

모델	A100 GPU-시간	비용
HyperCLOVA X SEED 0.5B	4,358	$6,537 (약 902만 원)
Qwen2.5-0.5B-instruct	169,257	$253,886
SEED Think 14B	68,049	약 $102,000 (약 1.4억 원)
Qwen3-14B	6,267,077	—

네이버가 주장한 절감률은 0.5B에서 39배, 14B에서 92배다. 정직하게 짚을 단서가 있다 — 자기 모델은 증류 비용만 세고, Qwen은 처음부터 학습한 전체 비용을 셌다. 공정한 벤치마크가 아니다. 하지만 그래서 오히려 이 시리즈의 요지에 정확히 맞는 증거가 된다. 같은 결과물을 만드는 데 전략이 다르면 비용의 자릿수가 바뀐다.

이식이 밑바닥보다 싸고, 심지어 더 강하다

이 시리즈에서 가장 실무적인 질문이 여기 있다 — 처음부터 학습할 것인가, 남의 모델 위에 한국어를 얹을 것인가. 운 좋게도 SKT가 같은 시기에 양쪽을 다 만들어 공개했다.

벤치마크	A.X 3.1 (밑바닥 34B, 2.1T)	A.X 4.0 (Qwen2.5-72B에 CPT)
KMMLU	69.73	78.32
CLIcK (한국 문화)	77.09	83.51
MMLU	75.20	86.62

밑바닥에서 2.1T를 태운 34B가 남의 72B에 한국어를 얹은 것보다 모든 축에서 졌다. A.X 4.0의 KMMLU 78.32는 GPT-4o의 72.51보다 높다.

물론 파라미터가 34B와 72B로 두 배 차이 나므로 순수한 방법론 비교는 아니다. 하지만 그게 요점이다 — 같은 예산으로 34B를 밑바닥부터 만들 수 있었다면, 그 예산으로 72B급 base를 받아 CPT하는 편이 나았다. 밑바닥 학습은 파라미터 상한을 예산이 정하지만, 이식은 남이 이미 태운 컴퓨트를 물려받는다.

더 극단적인 예가 모티프다. Llama 3 70B를 102B로 부풀린 뒤 194B 토큰(한국어:영어 9:1)만 추가했다. EXAONE 4.0 32B가 먹은 14T의 1.4%다. 결과는 KMMLU 64.74%로 GPT-4o(64.11%)를 앞섰다. 흥미로운 건 어휘를 128,000 그대로 두고 한국어 토큰을 전혀 추가하지 않았다는 점이다 — ⑦편에서 토크나이저가 무료 점심이라고 했지만, 손대지 않아도 CPT만으로 여기까지 간다는 반례다.

파국적 망각은 생각보다 작다

• DNA 1.0 8B(디노티시아): Llama 3.1 8B에 46.8억 토큰만 CPT하고 SFT·병합·증류를 거쳤다. KMMLU 41.7 → 53.26 (+11.56%p), MMLU 68.2 → 66.64 (−1.56%p). 한국어를 11.6점 얻고 영어를 1.6점 냈다. 컴퓨트로는 약 2.2×10²⁰ FLOPs로 EXAONE 3.5 32B의 약 5,700분의 1이다.
• EEVE(야놀자): 한국어 토큰 8,960개를 추가해 어휘를 40,960으로 늘리고 단 20억 토큰으로 끝냈다. H100 8장으로 2.8B 변형은 이틀 미만. 한영 통합 평균 0.7045를 기록하면서 영어 BoolQ 0.8492를 유지했다(리포트가 제시한 0.7045는 한국어 단독 평균이 아니라 한영 합산 평균이라는 점은 짚어 둔다). 비결은 7단계 파라미터 동결 커리큘럼(새 임베딩부터 차례로 열어 주는 순서)이다. 비용은 대략 150~200만 원으로 추정된다.

논문의 표현대로 "새 임베딩에 조 단위 토큰이 필요하다는 통념과 대비되는" 결과다. 스타트업이 실제로 집행할 수 있는 금액이다.

망각을 더 줄이는 방법도 정량화돼 있다. 원본 분포 데이터를 얼마나 섞어 되먹이느냐(replay)가 핵심인데, 효과가 놀랍도록 가파르다.

• 1%만 섞어도 망각이 절반으로 줄어든다.
• 5%면 망각의 71%가 사라진다.
• 25%면 전체 재학습과 동등한 수준이 되는데, 목표 언어 성능의 대가는 0.05 nats에 불과하다.

CPT를 할 때 원본 데이터를 5% 섞는 것은 사실상 공짜다. 그리고 여기서 반대 방향의 경고도 하나 — CPT를 LoRA로 하면 안 된다. 랭크를 256까지 올려도 전체 파라미터 학습 대비 3.9~9.1점 뒤처지고, 토큰을 더 넣어도 그 격차가 좁혀지지 않는다. ⑩편에서 LoRA가 8천 원이라고 했지만, 그건 지시 튜닝(SFT)의 가격이지 언어 능력을 새로 넣는 값이 아니다.

덧붙여 국내 리포트를 읽을 때의 주의점 하나. 모티프 102B는 한국어 9:1로 194B 토큰을 태우고도 영어 벤치마크를 하나도 보고하지 않았다. 망각이 발생했다면 정확히 거기서 측정됐어야 할 설정인데 그 표가 없다. 이 시리즈가 인용하는 모든 국내 벤치마크에 같은 종류의 주의가 필요하다 — 보고되지 않은 축이 곧 약한 축일 가능성이 높다.

국가는 스케일링 결정을 평가표로 대체했다

마지막으로 독자 파운데이션 모델 사업(독파모)의 경과를 짚어 둔다. 2025년 5개 정예팀(네이버클라우드·LG·SKT·업스테이지·NC AI)으로 시작해 2026년 1월 1차 평가에서 네이버클라우드와 NC AI가 탈락, 2월에 모티프가 추가됐고, 2026년 8월 2차 평가에서 모티프가 탈락했다.

• 2차 점수: SKT 70.6 / 업스테이지 69.9 / LG 69.0 / 모티프 65.8
• 배점은 벤치마크 40점(AAII 25 + NIA 15) + 전문가 35 + AI전문사용자 15 + 일반국민 10.
• 항목별 1~4위 격차는 벤치마크 4.0, 전문가 2.4, 사용자 5.0으로 사용자 평가가 가장 컸다.
• 모티프는 AAII 국내 1위(47점)를 받고도 전문가·사용자에서 깎여 최하위가 됐고, 공식 이의를 제기했다.
• 3차 진출팀 GPU는 B200 상반기 768장 → 하반기 약 1,000장. 글로벌 최고 대비 격차는 1월 19점에서 8월 16점으로 좁혀졌다.

"무엇을 잘한 것으로 칠 것인가"가 아직 합의되지 않았다는 신호다. 그리고 이건 이 시리즈의 주제와도 맞닿는다 — 벤치마크 1위와 종합 1위가 갈리는 상황에서, 스케일링 법칙이 최적화하는 "손실"이 무엇의 대리변수인지 다시 물어야 한다. 참고로 서강대가 수능 수학으로 별도 평가했을 때는 Kimi K3 92.0% > Solar Pro 4 77.5%로, "한국어 특화"가 곧 "한국 문제를 더 잘 푼다"는 아니라는 결과가 나왔다.

리포트가 끝내 말하지 않는 것들

• GPU-시간을 공개한 건 네이버 SEED 모델카드뿐. LG·KT·카카오는 FLOPs만, 네이버 본편·SKT·업스테이지는 아무것도 공개하지 않는다.
• 한국어 토큰 비중을 퍼센트로 밝힌 팀이 없다. HyperCLOVA X의 "균등"과 모티프의 "9:1"이 그나마 구체적이다.
• 카카오 Kanana는 토크나이저 어휘 크기조차 공개하지 않았다.
• HyperCLOVA X 본편(2024)은 파라미터 수와 총 학습 토큰 수 자체를 공개하지 않았고 스케일링 법칙 언급도 없다.

이걸 결함으로만 읽을 필요는 없다. ②편에서 봤듯 지수를 직접 적합하려면 16개 모델 스윕이 필요하고, 그건 소형 랩에 부담이다. "우리가 적합한 지수" 대신 "우리가 쓴 GPU 시간과 절감률"을 보고하는 건 제약 하의 합리적 선택이다. 다만 비교 가능성이 사라진다는 대가가 따르고, 그래서 국내 모델끼리 "누가 더 효율적인가"를 판정할 방법이 사실상 없다.

그렇다면 남의 계수를 베낄 수 없다는 뜻이다. 우리 계수는 우리가 적합해야 한다. 그건 얼마일까 — 다음 편에서 견적을 뽑는다.

— 친칠라 법칙 시리즈 ⑪ / 다음 글: 우리 팀의 스케일링 법칙을 $1,800에 적합하기

친칠라 법칙 ⑩ — 6ND에서 청구서까지: FLOPs를 원화로 바꾸는 산수

여기까지가 설계였다. 이번 편은 "그래서 우리 회사는 얼마짜리 모델을 만들 수 있나"에 답한다. 산수는 세 줄이면 끝난다.

1. C(FLOPs) = 6 × N × D
2. GPU-시간 = C ÷ (피크 FLOPS × MFU × 3600)
3. 비용 = GPU-시간 × 시간당 단가

문제는 2번의 분모다. 여기서 순진한 계산과 실제 청구서가 몇 배씩 벌어진다. 그리고 이 편의 결론을 미리 말하면 — 틀리는 건 FLOPs가 아니라 단가다.

스펙시트 숫자를 그대로 쓰면 안 되는 이유

NVIDIA 제품 페이지의 Tensor Core 성능은 전부 희소성(sparsity) 포함 값이다. 학습에는 쓸 수 없으므로 2로 나눠야 한다.

GPU	표기값(sparse)	BF16 dense(실사용)	메모리
H100 SXM	1,979 TFLOPS	989.5	80GB
H200 SXM	1,979 TFLOPS	989.5	141GB
B200	—	2,250	180GB

놓치기 쉬운 사실 하나 — H200은 H100과 연산력이 완전히 동일하다. 141GB 메모리와 4.8TB/s 대역폭만 다르다. 학습 FLOPs 예산에서 둘은 같은 칩으로 취급해야 한다(⑨편에서 봤듯 그 메모리 차이는 서빙에서 값을 한다). H800도 H100과 BF16 연산력이 같고 NVLink 대역폭만 잘렸다(900→400GB/s) — DeepSeek의 최적화가 전부 "통신 숨기기"에 집중된 이유다.

MFU 40%는 한국 팀 실측을 맞춘다

다음은 MFU(Model FLOPs Utilization)다. 공개된 최고 기록은 Megatron-LM의 52%이고, Llama 3 405B는 8K GPU에서 43%, 16K에서 41%였다. 그래서 흔히 "중소 규모는 25~35%로 잡으라"고 조언하는데, 국내 실측을 대입해 보면 40%가 오히려 정확했다.

Trillion Labs가 공개한 Trillion-7B로 검산해 보자. 7B 모델에 2T 토큰이면 6ND = 8.4×10²² FLOPs다. H100 dense 989.5 TFLOPS에 MFU 40%를 가정하면 GPU-시간당 1.425×10¹⁸ FLOPs이므로, 필요한 시간은 약 59,000시간으로 계산된다.

실제 보고값은 59.4K H100-시간이다. 오차 1% 미만이다.

그런데 같은 리포트가 밝힌 실제 비용은 $148K다. 나눠 보면 $148K ÷ 59.4K시간 = $2.49/GPU-시간. 즉 컴퓨트 추정은 맞았고, 어긋난 건 오직 단가다.

실무 규칙이 여기서 나온다 — 안전계수는 FLOPs가 아니라 $/시간에 곱하라. 6ND와 MFU 40%는 믿어도 되고, 대신 시간당 단가에 1.25~1.5배를 잡아라. 이건 이 시리즈에서 직접 검증한 가장 실용적인 결론이다.

다만 논문 MFU로도 17%가 모자란다 — 실패 비용

Llama 3 405B로 한 번 더 검산하면 다른 종류의 격차가 보인다. 6ND는 3.79×10²⁵로 논문 보고값 3.8×10²⁵와 정확히 맞는다. 그런데 논문의 MFU 41%로 나누면 26.3M GPU-시간인데, 공식 모델카드는 30.84M H100-시간이라고 적었다. 17% 차이이고 실효 MFU는 34.5%다.

정체가 흥미롭다. 405B 사전학습 54일 동안 작업 중단이 466회였고, 419회가 비계획, 비계획의 약 78%가 하드웨어 문제였다(GPU 관련이 비계획 전체의 58.7%). 유효 학습 시간 90% 이상을 유지한 게 성취인데, 뒤집으면 10%는 증발한다.

그래서 견적에는 ×1.15를 곱한다. 그리고 이 대목이 원가절감 포인트이기도 하다 — 체크포인트·재시작이 견고하면 스팟 인스턴스를 쓸 수 있고, 그것만으로 60% 절감(CoreWeave 기준 $6.16 → $2.46)이 가능하다. 참고로 체크포인트 크기는 파라미터당 16바이트(BF16 가중치 2 + 그래디언트 2 + Adam 상태 12)이므로 7B가 112GB, 405B가 약 6.5TB다.

$5.576M의 진실 — DeepSeek이 각주에 써 둔 문장

가장 많이 인용되는 숫자를 정확히 읽어 보자. DeepSeek-V3 리포트 Table 1은 사전학습 2,664K + 컨텍스트 확장 119K + 사후학습 5K = 총 2,788K H800-시간, $2/시간 가정으로 $5.576M이라고 적었다.

그런데 논문 스스로 각주를 달았다 — 이 비용은 "공식 학습만 포함하며, 아키텍처·알고리즘·데이터에 대한 사전 연구와 어블레이션 실험 비용은 제외한다." 즉 $5.576M은 마지막에 성공한 런 하나의 GPU 임대료이지 회사가 쓴 돈이 아니다. 빠진 것: 실패한 런, 클러스터 CAPEX, 데이터 파이프라인, 연구원 인건비. Epoch AI의 분해로는 프런티어 학습 총비용에서 하드웨어 47~67%, 연구 인력 29~49%, 에너지 2~6%다. GPU 값만 계산한 견적서는 절반짜리다.

이 숫자에서 MFU를 역산하면 활성 37B 기준 6ND = 3.29×10²⁴ FLOPs, GPU당 343 TFLOPS로 BF16 대비 34.7%다. 그런데 DeepSeek은 FP8로 학습했으므로 FP8 피크(1,979) 대비로는 17.3%다. FP8은 피크를 2배 올리는 대신 MFU를 반으로 깎는다. 저정밀도 학습을 검토한다면 이 상쇄를 감안해야 한다.

같은 H100이 4.6배 — 2026년 가격표

제공자	H100 GPU-시간당
CoreWeave 스팟	$2.46
RunPod Community	$2.69
AWS p5 예약(실효)	$2.97
VESSL AI (국내) — 이 시리즈 기준가	$2.98 (약 ₩4,112)
Lambda 온디맨드	$3.99
AWS p5 온디맨드	$6.88
Azure 정가	$12.29

최저와 최고가 4.6배 차이 난다. 더 재미있는 건 달러당 실효 FLOPs로 줄 세우면 AWS의 B200이 Lambda의 H100보다 나쁘다는 점이다(2.28×10¹⁷ vs 3.57×10¹⁷). 칩 세대보다 공급처가 더 큰 변수다. 앞서 "안전계수를 단가에 곱하라"고 한 이유가 이 표다.

국내 사정도 짚어 두자. 네이버클라우드·KT클라우드·NHN클라우드·카카오클라우드는 GPU 시간당 요금을 공개 페이지에 게시하지 않는다. 전부 요금 계산기나 영업 문의로 유도한다. 가격을 공개한 국내 사업자는 사실상 VESSL AI 하나이고, 그래서 이 시리즈는 $2.98/시간을 기준가로 쓴다(환율 1,380원). 국내 클라우드는 GPU를 카탈로그가 아니라 견적으로 판다.

국가 자원은 어떤가. 국가AI컴퓨팅센터가 전남 해남에 2026년 8월 착공, 2028년 준공 일정으로 GPU 약 1.5만 장, 전력 40MW 규모로 추진 중이다(총 투자 2조 원대, 보도마다 편차가 있다). 지금 손에 쥘 수 있는 건 훨씬 작다 — 스타트업 대상 무상 GPU는 264장 규모였고 수요가 공급의 4배를 넘었다. 수 장에서 수십 장, 몇 개월이 현실적 기대치이고, 이는 처음부터 학습이 아니라 파인튜닝·계속사전학습에 쓰라는 뜻이다.

그래서 얼마인가 — 워크드 예제

가정: H100 dense 989.5 TFLOPS, MFU 40%, $2.98/시간, 환율 1,380원. 오버헤드 미포함 순수 6ND 기준이다.

모델 / 비율	토큰	GPU-시간	비용
1B / 20:1	20B	84	₩35만
3B / 20:1	60B	758	₩312만
7B / 20:1	140B	4,127	₩1,697만
1B / 200:1	200B	842	₩346만
3B / 200:1	600B	7,580	₩3,117만
7B / 200:1	1.4T	41,266	₩1.70억

7B를 200:1로 처음부터 학습하면 오버헤드(×1.15)까지 넣어 약 47,500 GPU-시간, ₩1.95억이다. H100 8장 노드 하나로는 215일, 64장이면 27일이다. 감도를 보면: MFU가 30%로 떨어지면 ₩2.60억, Lambda 단가($3.99)면 ₩2.61억, AWS 온디맨드($6.88)면 ₩4.50억이다. 같은 모델의 견적이 공급처에 따라 2.3배 흔들린다.

GPU를 몇 장까지 쓸 수 있나 — 임계 배치가 정하는 상한

"64장이면 27일"이라고 썼는데, 여기엔 함정이 있다. GPU를 늘린다고 무한히 빨라지지 않는다. 배치를 키우면 스텝당 처리량은 늘지만, 어느 지점부터는 스텝 수가 더 이상 줄지 않는다. 그 지점이 임계 배치 크기다.

7B를 1.4T 토큰으로 학습하는 경우로 계산해 보자. 목표 손실을 약 2.04 nats로 두고 임계 배치를 추정하면 약 680만 토큰, 시퀀스 4,096 기준 약 1,650 시퀀스다. GPU당 4시퀀스를 얹는다면 데이터 병렬을 약 413장까지 키울 수 있다는 뜻이다. 그 지점의 벽시계는 약 100시간이다.

중요한 건 그 너머의 수익 곡선이다(전부 필자 계산).

• GPU를 4배 늘리면 속도는 1.6배, 비용은 2.5배가 된다.
• 16배 늘리면 속도는 1.88배, 비용은 8.5배가 된다.
• 그리고 아무리 GPU를 부어도 넘을 수 없는 직렬 하한이 약 50시간 존재한다.

또 하나 실무적인 함의가 있다. 임계 배치는 학습이 진행되며 커진다 — 손실이 3.0일 때 87만 토큰이던 것이 2.04에서 680만이 된다. 즉 학습 초반에 큰 배치를 쓰면 낭비이고, 배치를 점진적으로 키우는 것(batch ramping)은 취향이 아니라 필수다. 초반부터 최대 배치로 돌리면 그만큼 컴퓨트를 버린다.

다만 이 추정에는 불확실성이 있다. 데이터 크기 기반의 최신 적합식을 그대로 외삽하면 1.4T 지점에서 35만 토큰이라는 훨씬 작은 값이 나오는데, 이는 Llama-2-7B가 실제로 쓴 400만 토큰 배치와 모순된다. 보수적으로는 위 값을 상한으로 보고, 실제 배치는 자체 스윕으로 정하는 게 맞다(⑫편).

어쨌든 CTO에게 답이 되는 문장은 이것이다 — 7B급 학습에 GPU 400장 이상을 붙이는 건 돈을 태우는 것이고, 그보다 적은 장수에서는 대체로 선형에 가깝게 빨라진다. 국내에서 손에 넣을 수 있는 규모(수십 장)는 이 상한에 한참 못 미치므로, 가진 GPU를 전부 쓰는 게 맞다.

그런데 대안이 훨씬 싸다

대안의 가격표가 이 편의 진짜 결론이다.

• 한국어 계속사전학습(CPT) 7B에 20B 토큰: 590 GPU-시간, ₩243만 — 처음부터 학습의 1.43%
• 전체 파라미터 SFT(500M 토큰): 15시간, 약 ₩6만
• LoRA SFT(50M 토큰): 1.5시간, 약 ₩6천

LoRA에 대해 두 가지를 덧붙인다. 첫째, LoRA를 쓰는 이유가 돈이 아닐 때가 많다. 7B 전체 파인튜닝은 파라미터당 16바이트 = 112GB에 활성값까지 필요해서 H100 80GB 한 장에 안 들어간다. "돈이 없어서"가 아니라 "메모리가 없어서" LoRA를 쓴다.

둘째, 이 ₩6천짜리 선택지를 CPT에 쓰면 안 된다. 지시를 가르치는 것과 언어 능력을 새로 넣는 것은 다른 일이고, 실측으로 랭크를 256까지 올려도 전체 파라미터 CPT 대비 3.9~9.1점 뒤처지며 토큰을 더 넣어도 격차가 좁혀지지 않는다. 위 표에서 한국어 CPT를 ₩243만으로 잡은 건 전체 파라미터 학습 기준이다. 여기서 아끼려다 결과를 통째로 잃는다.

정리하면 이렇다. "자체 LLM"은 2억 원짜리 문장이고, "한국어 특화"는 240만 원짜리 문장이다. 그 사이가 80배다. 그런데 성능 차이는 80배가 아니다 — 다음 편에서 국내 팀들이 실제로 어느 쪽을 골랐는지, 그리고 그 결과가 어땠는지를 본다.

— 친칠라 법칙 시리즈 ⑩ / 다음 글: 아무도 친칠라를 지키지 않았고, 아무도 밑바닥부터 만들지 않았다

친칠라 법칙 ⑨ — 형상도 스케일링 변수다: 깊이·너비·KV 캐시

스케일링 법칙은 오랫동안 형상(shape)에 무관하다고 여겨졌다. 파라미터 수만 같으면 층을 깊게 쌓든 넓게 펴든 손실이 비슷하다는 것이다. 손실만 보면 대체로 맞는 말이다. 그런데 청구서는 형상에 따라 몇 배씩 달라진다. 같은 파라미터 수여도 아키텍처에 따라 추론 레이턴시가 최대 3.5배 차이 난다.

깊이냐 너비냐 — 목적함수가 답을 바꾼다

이 논쟁이 오래 헷갈렸던 이유는 사람들이 서로 다른 목적함수를 최적화하면서 같은 질문을 한다고 믿었기 때문이다. 정리하면 이렇다.

• 손실이 목적이면 깊이. 최적 깊이는 총 파라미터에 대해 로그로 증가한다. 이 기준으로 보면 GPT-3는 오히려 "크기에 비해 너무 깊었다"는 평가가 나오고, 1조 파라미터 모델의 최적 너비는 약 30K로 예측된다.
• 레이턴시가 목적이면 너비. 층이 깊으면 토큰 하나를 만들 때 순차적으로 통과해야 하는 단계가 많아진다. 넓고 얕게 설계한 Morph-1B가 레이턴시를 1.8배 개선했다.
• 온디바이스 품질이 목적이면 다시 깊이. 파라미터가 극도로 제한된 구간에서는 깊고 얇은 쪽이 유리하다는 게 MobileLLM 계열의 결론이다.

즉 "깊이 vs 너비"에 보편적 정답은 없고, 무엇을 최소화하는지에 따라 답이 갈린다. 국내 모델의 실제 선택을 보면 대체로 층수를 보수적으로 잡는다 — EXAONE 4.0 32B가 64층 / hidden 5,120, K-EXAONE 236B가 48층, Solar-Open2가 48층이다.

긴 컨텍스트는 6ND를 깨고, 아키텍처가 되돌린다

③편에서 128K 컨텍스트에서는 어텐션 항이 파라미터 항의 133%까지 부풀어 6ND가 무너진다고 했다. 2026년의 대응은 모든 층에 완전한 어텐션을 두지 않는 것이다.

• EXAONE 4.0 32B: 슬라이딩 윈도우(4K) : 글로벌 = 3:1. 네 층 중 하나만 전체를 본다.
• K-EXAONE 236B: 12 × (SWA 3 + Global 1)로 같은 패턴을 48층에 반복.
• Solar-Open2: [Softmax, Linear×3] × 12 — 48층 중 12층만 KV 캐시를 유지하고, 위치 인코딩을 빼고(NoPE) 컨텍스트 1M을 지원한다.
• Mamba-2 하이브리드(8B/3.5T, Mamba 43% + 어텐션 7% + MLP 50%): 12개 태스크 평균 +2.65점, 추론 생성 최대 8배. 다만 순수 SSM은 복사·문맥학습에서 열세라 어텐션을 조금 섞는 게 정답이었다.

KV 캐시가 곧 서빙 원가다

왜 이런 설계가 나오는지는 KV 캐시 크기를 직접 계산해 보면 즉시 이해된다. 공식은 이렇다.

KV 바이트 = 2 × 층수 × KV헤드 × head_dim × 정밀도 × 시퀀스 길이

EXAONE 4.0 32B 형상(64층, head_dim 128, KV 헤드 8, BF16)에 대입해 128K 세션 하나의 KV 캐시를 계산하면:

설정	128K 세션 1개	절감
GQA 없이 전 층 글로벌(MHA)	171.8 GB	기준
GQA 적용, 전 층 글로벌	34.4 GB	5.00배
EXAONE 4.0 실제(GQA + 3:1 하이브리드)	9.4 GB	18.3배

(필자 계산. EXAONE 4.0은 이미 LLLG 패턴, 즉 64층 중 글로벌 16 + 슬라이딩 윈도우 48로 구성돼 있다. 슬라이딩 층은 윈도우 크기만큼만 유지하므로 128K 구간에서는 기여가 작다.)

숫자가 말해 주는 게 명확하다. 아무 대책 없이 128K를 지원하면 세션 하나가 H100 두 장을 통째로 먹는다. GQA로 5배, 하이브리드 어텐션으로 다시 3.7배, 합쳐서 18배를 줄여야 겨우 실용 영역에 들어온다.

그래도 여유롭지는 않다. 80GB H100 한 장에 32B 모델을 올리고 남는 공간으로 128K 세션을 몇 개나 돌릴 수 있는지 계산하면:

• 가중치를 BF16으로 올리면 세션 1개(가중치만 64GB)
• 가중치를 FP8로 내리면 4개
• 가중치와 KV를 모두 FP8로 하면 9개

④편에서 배치를 키워야 디코딩 MFU가 산다고 했는데, 롱컨텍스트 서비스에서는 배치를 9까지밖에 못 키운다는 뜻이다. 이게 롱컨텍스트 서빙 단가가 비싼 진짜 이유다. Solar-Open2가 48층 중 12층만 KV를 유지하는 설계(정확히 4.00배 절감)로 1M 컨텍스트를 여는 것도 같은 계산의 산물인데, 그마저 1M 세션 하나가 51.5GB라 모델 카드가 H200 4장을 요구한다.

④편에서 디코딩이 메모리 대역폭 바운드라고 했는데, 그 병목을 완화하는 유일한 방법이 배치를 키우는 것이고, 배치 크기의 상한을 정하는 게 바로 이 KV 캐시다. 즉 형상 설계 = 배치 상한 설계 = 서빙 단가 설계다. 아키텍처 결정이 곧 원가 결정인 셈이다.

롱컨텍스트는 마지막 10%에 붙인다

학습 쪽 대응은 더 단순하다. 긴 컨텍스트로 처음부터 학습하지 않는다.

• 네이버 HyperCLOVA X는 학습의 90%를 4,096으로 하고 마지막 10%만 32,768로 돌렸다.
• DeepSeek-V3의 컨텍스트 확장 단계는 119K GPU-시간, 약 $238K으로 전체 학습비의 4.3%에 불과하다.
• K-EXAONE도 8K → 32K → 256K의 2단계 확장을 쓴다.

즉 롱컨텍스트는 사전학습 예산의 문제가 아니라 미세조정 단계의 문제로 취급하는 것이 업계 표준이 됐다. 견적을 짤 때 컨텍스트 길이 때문에 겁먹을 필요는 없다는 뜻이다 — 진짜 비용은 학습이 아니라 서빙 쪽 KV 캐시에서 발생한다.

MTP — 데이터가 부족한 D축을 접는 트릭

마지막으로 국산 모델의 기본 사양이 된 장치 하나. MTP(Multi-Token Prediction)는 다음 토큰 하나가 아니라 여러 개를 동시에 예측하도록 학습하는 방식이다. 두 가지 효과가 있다.

• 학습 신호가 조밀해진다 — 같은 토큰에서 더 많은 학습 신호를 뽑아낸다. 데이터가 부족한 언어에 유리한 성질이다.
• 추론에서 speculative decoding으로 재활용된다 — DeepSeek-V3 기준 두 번째 토큰의 수용률이 85~90%다. 사실상 디코딩 속도가 1.8배 가까이 빨라진다.

K-EXAONE 750B와 236B가 둘 다 MTP 1층을 채택했다. 한국어처럼 D축이 막힌 상황에서 아키텍처로 데이터 부족을 일부 상쇄하는 선택이고, 동시에 서빙 속도까지 얻는다. ⑦편의 토크나이저와 함께, 한국 팀이 구조적으로 취해야 할 두 번째 무료 점심에 가깝다.

정리

• 형상은 손실에는 둔감하고 원가에는 민감하다. 파라미터 수가 같아도 레이턴시가 최대 3.5배 차이 난다.
• 목적함수를 먼저 적어라. 손실이면 깊이, 레이턴시면 너비, 온디바이스 품질이면 다시 깊이.
• KV 캐시를 설계 단계에서 계산하라. GQA와 하이브리드 어텐션 없이는 128K가 세션당 164GB다. 이게 배치 상한을, 배치 상한이 서빙 단가를 정한다.
• 롱컨텍스트는 학습 마지막 10%에. 사전학습 예산 문제가 아니다.
• MTP는 D가 부족한 팀에게 특히 남는 장사다.

여기까지가 설계다. 이제 청구서를 볼 차례다. 우리가 정한 N, D, 형상이 정확히 얼마짜리인가.

— 친칠라 법칙 시리즈 ⑨ / 다음 글: 6ND에서 청구서까지 — FLOPs를 원화로 바꾸는 산수

친칠라 법칙 ⑧ — 6ND가 두 조각으로 쫪개진 날: MoE와 메모리 축

③편에서 6ND가 깨지는 세 지점을 봤는데, 그중 MoE는 단순한 예외가 아니라 문제의 차원을 바꾼다. 친칠라는 컴퓨트 하나를 최적화하는 문제였다. MoE는 그걸 (컴퓨트, 메모리) 두 개로 쪼갰다. 2025~26년 국내 모델이 사실상 전부 MoE로 넘어갔으니, 이건 이제 선택 사항이 아니다.

두 개의 청구서

• 학습·추론 컴퓨트: C ≈ 6 · N_active · D
• 메모리(VRAM): N_total에 비례

DeepSeek-V3가 이 분열을 가장 선명하게 보여준다 — 학습 FLOPs로는 37B급이고, 서빙 메모리로는 671B급이다. 두 숫자가 18배 차이 나고, 각각 다른 예산 항목에 청구된다.

Clark 등이 이걸 처음 정리했다. 라우팅 모델에서는 파라미터 수와 토큰당 연산량이 독립적인 두 축이 되며, 둘을 하나로 묶는 "실효 파라미터 수"를 정의할 수 있다. 구체적으로 N=5M에 전문가 128개짜리 모델이 N=55M dense와 동등했다 — 추론 FLOPs를 10배 아낀 것이다.

잘게 쪼갤수록 이득이 커진다 — 그리고 교차점은 없다

한동안 통용되던 반론이 있었다. "MoE는 작은 모델에서만 이득이고 규모가 커지면 dense가 따라잡는다"는 것이다. granularity(전문가를 얼마나 잘게 쪼갤 것인가, G = d_ff / d_expert)를 최적화 변수로 넣으면 이 결론이 뒤집힌다.

컴퓨트	최적 granularity G
1e20 FLOPs	8
1e21	16
1e23	32
1e24	64

G를 고정한 채 비교하면 규모가 커질수록 MoE 이득이 줄어드는 것처럼 보이지만, G까지 최적화하면 dense 대비 절감폭이 1e20에서 20배 → 1e25 초과에서 40배 이상으로 오히려 벌어진다. "dense가 다시 이기는 교차점"은 나타나지 않는다. 실물 검증도 있다 — DeepSeekMoE 16B가 LLaMA2 7B와 동급 성능을 연산 40%로 냈다.

Apple의 sparsity 스케일링 연구는 방향을 더 명확히 정리했다 — 컴퓨트가 커질수록 총 파라미터는 늘리고 활성 파라미터는 줄이는 게 최적이며, 최적 sparsity는 모델이 커질수록 1.0에 접근한다. 친칠라의 "N을 키워라"가 "N_total을 키우고 N_active를 줄여라"로 교체된 것이다.

그런데 하드웨어가 아키텍처를 고른다

여기가 예산이 작은 팀에게 가장 중요한 대목이다. 위 결론은 메모리가 무한할 때의 이야기다. 메모리 제약을 목적함수에 넣고 최적 전문가 수를 풀면 답이 완전히 달라진다.

• 24GB GPU에서는 1e23 FLOPs 이상이면 E=1, 즉 dense가 최적이다. MoE의 이론적 이득이 VRAM에 전부 잡아먹힌다.
• 80GB에서는 E = 8~16 대역.
• 8×H100(640GB)에서는 전 구간에서 E≥32가 최적이다.

같은 문제, 같은 목적함수인데 손에 쥔 GPU가 아키텍처를 결정한다. "MoE가 대세니까 우리도"가 아니라 "우리 서빙 환경의 VRAM이 얼마인가"가 먼저다. 업스테이지가 Solar Pro를 설계할 때 "80GB 단일 GPU 구동"을 명시적 설계 목표로 걸고 파라미터 수를 22B로 정한 것도 같은 논리다 — 서빙 제약이 파라미터 수를 먼저 정하고 학습 예산이 뒤따랐다.

만드는 사람과 파는 사람의 최적점이 다르다

또 하나의 분열이 있다. compute-optimal과 inference-optimal이 같은 값이 아니다.

• 서빙 효율만 보면 전문가 4~8개가 최적이다. E=2는 추론 토큰당 FLOPs를 36%, E=4는 61% 절감한다.
• 그런데 같은 성능에 도달하기까지 학습 비용이 2.5~3.5배 든다.

즉 전문가를 적게 두면 서빙은 싸지만 학습이 비싸진다. ④편의 "누적 요청 수를 먼저 적어라"가 여기서도 그대로 적용된다.

재활용(upcycling)에도 손익분기가 있다. dense 모델을 MoE로 부풀리는 건 예산이 작을 때만 유리하다 — 8×1B 기준 임계점이 약 4B 토큰이고, 그 이상 학습할 거면 처음부터 MoE로 짓는 게 낫다. 그리고 원본에 부은 매몰 컴퓨트가 클수록 재활용 효율이 떨어진다는 상호작용항이 실측됐다. 좋은 dense 모델일수록 MoE로 개조하기 나쁘다는 뜻이라, 직관과 반대다.

국내외 활성비가 한 대역으로 수렴했다

모델	총 / 활성	활성비
gpt-oss	—	4.4%
K-EXAONE 2.0 (LG)	750B / 37B	4.9%
DeepSeek-V3	671B / 37B	5.5%
Solar-Open2 (업스테이지)	250B / 15B	6.0%
Qwen3	—	9.4%
K-EXAONE (LG)	236B / 23B	9.7%
Kanana-2 (카카오)	30B / 3B	10%

한국·중국·미국이 독립적으로 4~10% 대역에 수렴했다. 서로 다른 팀이 서로 다른 예산과 하드웨어로 도달한 값이니, 사실상 업계 공통해로 봐도 무방하다. 새로 설계한다면 이 대역 밖으로 나갈 때 왜 나가는지 설명할 수 있어야 한다.

MoE 설계에서 실무적으로 정할 것을 정리하면 이렇다.

1. 서빙 VRAM을 먼저 정한다. 이게 총 파라미터의 상한이다.
2. 활성비를 4~10%에서 고른다. 서빙 물량이 많을수록 낮은 쪽.
3. granularity는 컴퓨트 예산에 맞춰 8~64에서 고른다. 다만 너무 잘게 쪼개면 통신·안정성 비용이 붙는다 — SKT A.X K1은 최적 구간 8~12보다 일부러 낮은 7을 골라 안정성을 확보했다고 밝혔다.
4. 컴퓨트 회계는 활성 파라미터로 하고, 그 사실을 표에 적는다(③편).

여기까지가 "얼마나 크게, 얼마나 성기게"다. 그런데 같은 파라미터 수, 같은 활성비여도 어떤 형상으로 배치하느냐에 따라 추론 레이턴시가 몇 배씩 차이 난다. 다음 편은 스케일링 법칙 바깥에 있다고 여겨졌던 변수 — 형상을 다룬다.

— 친칠라 법칙 시리즈 ⑧ / 다음 글: 형상도 스케일링 변수다 — 깊이·너비·하이브리드 어텐션