친칠라 법칙 ⑪ — 아무도 친칠라를 지키지 않았고, 아무도 밑바닥부터 만들지 않았다

이론은 여기까지다. 국내 대기업 여섯 곳의 기술 리포트를 열어 파라미터·토큰·FLOPs를 전부 계산해 봤다. 결론은 두 문장으로 요약된다. 친칠라 최적을 지킨 팀은 하나도 없다. 그리고 최신 모델을 처음부터 만든 팀도 하나도 없다.

실측 토큰/파라미터 배율

모델	파라미터 / 토큰	배율
SKT A.X 3.1	34B / 2.1T	62×
KT Mi:dm 2.0 Mini	2.3B / ≈331B	144×
LG EXAONE 3.5 32B	32B / 6.5T	203×
LG EXAONE 4.0 32B	32B / 14T	437×
LG K-EXAONE (활성 기준)	23B 활성 / 11T	478×
LG EXAONE 3.0	7.8B / 8T	1,026×
LG EXAONE 3.5 7.8B	7.8B / 9T	1,154×
LG EXAONE 3.5 2.4B	2.4B / 6.5T	2,708×
LG EXAONE 4.0 1.2B	1.2B / 12T	10,000×

가장 낮은 값이 62배다. 친칠라의 20배는 국내 실무에서 하한선조차 아니다. 온디바이스용 1.2B는 최적의 500배를 먹였는데, ⑤편에서 봤듯 그 자리가 하필 양자화가 가장 안 먹는 구간이다.

그리고 이 표에서 가장 이상한 줄은 EXAONE 3.5다. 7.8B 모델에 9T 토큰을 먹이고, 32B 모델에는 6.5T를 먹였다. 작은 모델이 큰 모델보다 더 많이 학습했다. 친칠라라면 정반대여야 한다. 실수가 아니라 ④편에서 본 추론 인지 스케일링의 교과서적 구현이다 — 작은 모델일수록 많이 팔리고 서빙 비용은 파라미터에 비례하니, 작은 모델에 학습비를 더 태우는 게 총비용 최적이다. "학습 1회, 추론 무한회"의 산수가 스케일링 법칙을 이겼다는 국내 최고의 실물 증거다.

참고로 EXAONE 3.5는 세 모델의 FLOPs를 전부 공개했는데(1.25e24 / 4.21e23 / 9.36e22) 셋 다 6ND와 정확히 일치한다. 카카오 Kanana는 아예 그림 캡션에 "6 × 학습 토큰 × 모델 크기"라고 적어 놓았다.

그런데 국내 모델의 절반은 이 비율을 계산할 수 없다

위 표를 만들면서 확인한 사실 하나를 정직하게 밝혀야 한다. Depth Up-Scaling이나 upcycling으로 만든 모델에는 토큰/파라미터 비율을 쓸 수 없다.

예를 들어 카카오 Kanana Flag 32.5B를 "3T 토큰 ÷ 32.5B = 92배"로 계산하면 틀린다. 32.5B 모델이 3T를 본 게 아니다. 26.8B 모델이 3T를 봤고, 그걸 32.5B로 부풀린 뒤 200B만 추가로 봤다. 같은 문제가 K-EXAONE 2.0(236B → 750B), KT Mi:dm 2.0 Base(8B급 → 11.5B), 업스테이지 Solar Pro(Phi-3-medium 14B → 22B), Llama-3-Motif(70B → 102B)에 전부 해당한다.

즉 국내 모델의 절반은 "이 모델은 파라미터당 몇 토큰을 봤나"라는 질문이 정의되지 않는 모델이다. 이건 결함이 아니라 이 시리즈가 다루는 현상 그 자체다 — 국내 팀들은 친칠라의 좌표계 자체를 떠났다.

여섯 팀이 같은 레시피로 수렴했다

리포트를 나란히 놓으면 골격이 하나로 겹친다 — ① 중간 크기 base 확보 → ② Depth Up-Scaling으로 부풀리기 → ③ Pruning + Distillation으로 작은 모델 뽑기.

팀	① base	② 부풀리기	③ 줄이기
업스테이지	Mistral 7B	DUS → 48층 10.7B	—
카카오	8B / 26.8B	DUS → 9.8B / 32.5B	8B → 2.1B
KT	8B급(32층)	DUS → 48층 11.5B	→ Mini 2.3B
네이버	THINK (6T)	—	→ SEED Think 14B
LG	K-EXAONE 236B	upcycle → 750B	—
모티프	Llama 3 70B	→ 102B (194B 토큰)	—

절감률을 숫자로 공개한 건 카카오가 가장 구체적이다 — Depth Up-Scaling은 처음부터 학습 대비 총 컴퓨트를 11.06% 절감했고(각 200B 토큰만 추가), Pruning + Distillation은 2.1B 모델을 0.3T 토큰으로 만들었다 — 처음부터 학습(3T)의 10분의 1이면서 성능은 더 좋았다. 그 결과 Kanana Flag 32.5B의 총 학습 컴퓨트가 Llama 3.1 8B보다도 낮다.

그리고 국내 최대 규모 모델조차 처음부터 학습이 아니다. LG의 K-EXAONE 2.0(총 750B / 활성 37B)은 236B MoE를 깊이 48→78층, 폭 128→256 전문가로 부풀린 것이다. 전문가를 복제할 때 무작위 회전 노이즈로 대칭을 깨는 기법까지 동원했다. 국내 최대 모델의 정체는 재활용이다.

국내 유일하게 공개된 원화 숫자: 902만 원

⑩편에서 국내 클라우드가 GPU 가격을 공개하지 않는다고 했는데, 학습 비용도 마찬가지다. 금액을 공개한 국내 리포트는 사실상 하나뿐이다 — 네이버 HyperCLOVA X SEED의 모델카드다.

모델	A100 GPU-시간	비용
HyperCLOVA X SEED 0.5B	4,358	$6,537 (약 902만 원)
Qwen2.5-0.5B-instruct	169,257	$253,886
SEED Think 14B	68,049	약 $102,000 (약 1.4억 원)
Qwen3-14B	6,267,077	—

네이버가 주장한 절감률은 0.5B에서 39배, 14B에서 92배다. 정직하게 짚을 단서가 있다 — 자기 모델은 증류 비용만 세고, Qwen은 처음부터 학습한 전체 비용을 셌다. 공정한 벤치마크가 아니다. 하지만 그래서 오히려 이 시리즈의 요지에 정확히 맞는 증거가 된다. 같은 결과물을 만드는 데 전략이 다르면 비용의 자릿수가 바뀐다.

이식이 밑바닥보다 싸고, 심지어 더 강하다

이 시리즈에서 가장 실무적인 질문이 여기 있다 — 처음부터 학습할 것인가, 남의 모델 위에 한국어를 얹을 것인가. 운 좋게도 SKT가 같은 시기에 양쪽을 다 만들어 공개했다.

벤치마크	A.X 3.1 (밑바닥 34B, 2.1T)	A.X 4.0 (Qwen2.5-72B에 CPT)
KMMLU	69.73	78.32
CLIcK (한국 문화)	77.09	83.51
MMLU	75.20	86.62

밑바닥에서 2.1T를 태운 34B가 남의 72B에 한국어를 얹은 것보다 모든 축에서 졌다. A.X 4.0의 KMMLU 78.32는 GPT-4o의 72.51보다 높다.

물론 파라미터가 34B와 72B로 두 배 차이 나므로 순수한 방법론 비교는 아니다. 하지만 그게 요점이다 — 같은 예산으로 34B를 밑바닥부터 만들 수 있었다면, 그 예산으로 72B급 base를 받아 CPT하는 편이 나았다. 밑바닥 학습은 파라미터 상한을 예산이 정하지만, 이식은 남이 이미 태운 컴퓨트를 물려받는다.

더 극단적인 예가 모티프다. Llama 3 70B를 102B로 부풀린 뒤 194B 토큰(한국어:영어 9:1)만 추가했다. EXAONE 4.0 32B가 먹은 14T의 1.4%다. 결과는 KMMLU 64.74%로 GPT-4o(64.11%)를 앞섰다. 흥미로운 건 어휘를 128,000 그대로 두고 한국어 토큰을 전혀 추가하지 않았다는 점이다 — ⑦편에서 토크나이저가 무료 점심이라고 했지만, 손대지 않아도 CPT만으로 여기까지 간다는 반례다.

파국적 망각은 생각보다 작다

• DNA 1.0 8B(디노티시아): Llama 3.1 8B에 46.8억 토큰만 CPT하고 SFT·병합·증류를 거쳤다. KMMLU 41.7 → 53.26 (+11.56%p), MMLU 68.2 → 66.64 (−1.56%p). 한국어를 11.6점 얻고 영어를 1.6점 냈다. 컴퓨트로는 약 2.2×10²⁰ FLOPs로 EXAONE 3.5 32B의 약 5,700분의 1이다.
• EEVE(야놀자): 한국어 토큰 8,960개를 추가해 어휘를 40,960으로 늘리고 단 20억 토큰으로 끝냈다. H100 8장으로 2.8B 변형은 이틀 미만. 한영 통합 평균 0.7045를 기록하면서 영어 BoolQ 0.8492를 유지했다(리포트가 제시한 0.7045는 한국어 단독 평균이 아니라 한영 합산 평균이라는 점은 짚어 둔다). 비결은 7단계 파라미터 동결 커리큘럼(새 임베딩부터 차례로 열어 주는 순서)이다. 비용은 대략 150~200만 원으로 추정된다.

논문의 표현대로 "새 임베딩에 조 단위 토큰이 필요하다는 통념과 대비되는" 결과다. 스타트업이 실제로 집행할 수 있는 금액이다.

망각을 더 줄이는 방법도 정량화돼 있다. 원본 분포 데이터를 얼마나 섞어 되먹이느냐(replay)가 핵심인데, 효과가 놀랍도록 가파르다.

• 1%만 섞어도 망각이 절반으로 줄어든다.
• 5%면 망각의 71%가 사라진다.
• 25%면 전체 재학습과 동등한 수준이 되는데, 목표 언어 성능의 대가는 0.05 nats에 불과하다.

CPT를 할 때 원본 데이터를 5% 섞는 것은 사실상 공짜다. 그리고 여기서 반대 방향의 경고도 하나 — CPT를 LoRA로 하면 안 된다. 랭크를 256까지 올려도 전체 파라미터 학습 대비 3.9~9.1점 뒤처지고, 토큰을 더 넣어도 그 격차가 좁혀지지 않는다. ⑩편에서 LoRA가 8천 원이라고 했지만, 그건 지시 튜닝(SFT)의 가격이지 언어 능력을 새로 넣는 값이 아니다.

덧붙여 국내 리포트를 읽을 때의 주의점 하나. 모티프 102B는 한국어 9:1로 194B 토큰을 태우고도 영어 벤치마크를 하나도 보고하지 않았다. 망각이 발생했다면 정확히 거기서 측정됐어야 할 설정인데 그 표가 없다. 이 시리즈가 인용하는 모든 국내 벤치마크에 같은 종류의 주의가 필요하다 — 보고되지 않은 축이 곧 약한 축일 가능성이 높다.

국가는 스케일링 결정을 평가표로 대체했다

마지막으로 독자 파운데이션 모델 사업(독파모)의 경과를 짚어 둔다. 2025년 5개 정예팀(네이버클라우드·LG·SKT·업스테이지·NC AI)으로 시작해 2026년 1월 1차 평가에서 네이버클라우드와 NC AI가 탈락, 2월에 모티프가 추가됐고, 2026년 8월 2차 평가에서 모티프가 탈락했다.

• 2차 점수: SKT 70.6 / 업스테이지 69.9 / LG 69.0 / 모티프 65.8
• 배점은 벤치마크 40점(AAII 25 + NIA 15) + 전문가 35 + AI전문사용자 15 + 일반국민 10.
• 항목별 1~4위 격차는 벤치마크 4.0, 전문가 2.4, 사용자 5.0으로 사용자 평가가 가장 컸다.
• 모티프는 AAII 국내 1위(47점)를 받고도 전문가·사용자에서 깎여 최하위가 됐고, 공식 이의를 제기했다.
• 3차 진출팀 GPU는 B200 상반기 768장 → 하반기 약 1,000장. 글로벌 최고 대비 격차는 1월 19점에서 8월 16점으로 좁혀졌다.

"무엇을 잘한 것으로 칠 것인가"가 아직 합의되지 않았다는 신호다. 그리고 이건 이 시리즈의 주제와도 맞닿는다 — 벤치마크 1위와 종합 1위가 갈리는 상황에서, 스케일링 법칙이 최적화하는 "손실"이 무엇의 대리변수인지 다시 물어야 한다. 참고로 서강대가 수능 수학으로 별도 평가했을 때는 Kimi K3 92.0% > Solar Pro 4 77.5%로, "한국어 특화"가 곧 "한국 문제를 더 잘 푼다"는 아니라는 결과가 나왔다.

리포트가 끝내 말하지 않는 것들

• GPU-시간을 공개한 건 네이버 SEED 모델카드뿐. LG·KT·카카오는 FLOPs만, 네이버 본편·SKT·업스테이지는 아무것도 공개하지 않는다.
• 한국어 토큰 비중을 퍼센트로 밝힌 팀이 없다. HyperCLOVA X의 "균등"과 모티프의 "9:1"이 그나마 구체적이다.
• 카카오 Kanana는 토크나이저 어휘 크기조차 공개하지 않았다.
• HyperCLOVA X 본편(2024)은 파라미터 수와 총 학습 토큰 수 자체를 공개하지 않았고 스케일링 법칙 언급도 없다.

이걸 결함으로만 읽을 필요는 없다. ②편에서 봤듯 지수를 직접 적합하려면 16개 모델 스윕이 필요하고, 그건 소형 랩에 부담이다. "우리가 적합한 지수" 대신 "우리가 쓴 GPU 시간과 절감률"을 보고하는 건 제약 하의 합리적 선택이다. 다만 비교 가능성이 사라진다는 대가가 따르고, 그래서 국내 모델끼리 "누가 더 효율적인가"를 판정할 방법이 사실상 없다.

그렇다면 남의 계수를 베낄 수 없다는 뜻이다. 우리 계수는 우리가 적합해야 한다. 그건 얼마일까 — 다음 편에서 견적을 뽑는다.

— 친칠라 법칙 시리즈 ⑪ / 다음 글: 우리 팀의 스케일링 법칙을 $1,800에 적합하기