친칠라 법칙 ⑦ — 한국어의 D축: 토크나이저가 유일한 무료 점심인 이유

앞 편의 숫자는 전부 영어 이야기였다. 실효 재고 300조 토큰, 소진 2028년. 한국어로 모델을 만드는 사람에게는 다른 표가 필요하다. 그리고 그 표를 보면 한국어의 벽은 미래가 아니라 이미 우리 뒤에 있다.

웹에 한국어는 1%도 없다

• Common Crawl에서 한국어는 0.85%다(2026년 8월 스냅샷 기준, 언어 순위 13위). 영어는 40.45%다.
• 다국어 코퍼스 CulturaX 기준 한국어는 24.8B 토큰, 전체의 0.39% — 영어 2.85T의 0.87%다. 100분의 1도 안 된다.
• 한국어 위키백과 전체가 0.3~0.5B 토큰 수준이다(문서 76만 건, 총 낱말 2.83억). 프런티어 모델 1회 학습량의 약 3만분의 1이다.

여기에 앞 편의 방법론을 그대로 적용해 보자. 인덱싱 웹 510T × 한국어 0.85% ≈ 4.3T 원시 토큰, 품질 필터 통과율 10~40%를 곱하면 고유 사용 가능 토큰이 0.4T~1.7T다. 여기에 반복 배수 세 시나리오를 적용하면:

시나리오	반복	한국어 실효 상한
보수	4×	1.7T ~ 6.8T
중립	8×	3.4T ~ 13.6T
상한	16×	6.8T ~ 27T

불확실성이 크지만 결론은 시나리오와 무관하다. 가장 낙관적인 가정에서도 한국어 전체가 FineWeb 하나(15T)를 겨우 넘고, 보수적으로 보면 그 절반도 안 된다. 참고로 이건 필자가 영어 방법론을 한국어에 대입한 추정이지 원 논문에 있는 값이 아니다.

그런데 이 표를 조금 낙관적으로 다시 그릴 근거가 하나 있다. ⑥편의 "4에폭까지 공짜"는 단일 소스를 반복할 때의 규칙이다. 2,000회 이상의 런으로 혼합 안에서의 반복을 따로 조사한 결과는 다르다 — 희소한 목표 도메인 데이터는 15~20회 반복까지 견딘다는 것이고, 논문은 이를 "단일 소스 기준의 통상적인 4에폭 경험칙을 크게 상회한다"고 명시한다. 이유는 풍부한 일반 도메인 데이터가 정규화 역할을 하기 때문이다.

이게 한국 팀에게 가장 직접적으로 적용되는 결과다. 한국어만 4에폭 돌리는 게 아니라 영어·코드가 절반 이상 섞인 혼합 안에서 한국어를 15~20회 반복하는 구성이라면, 위 표의 상한 시나리오가 현실적 목표가 된다. 그리고 이건 국내 팀 전원이 이중언어로 가는 또 하나의 이유이기도 하다 — 영어를 섞는 건 영어 능력을 위해서만이 아니라, 부족한 한국어를 더 많이 반복하기 위해서다.

더 구체적인 실측치도 있다. 과기정통부와 NIPA가 2026년 8월 개방한 독자 파운데이션 모델 사업 학습데이터가 29종, 3,544만 건, 약 1.56조 토큰이다. 국가가 5개 정예팀을 동원해 1년간 모은 총량이고, 보도는 이를 "7~8B 파라미터 모델 하나를 학습시킬 수 있는 수준"이라고 표현했다. 대조하면 EXAONE 4.0 32B가 먹은 14T의 11%다.

그래서 전원이 이중언어다

국내 모델의 데이터 구성을 나열하면 패턴이 하나로 보인다.

• HyperCLOVA X: 한국어 : 다국어 : 코드 = 1 : 1 : 1
• SKT A.X 4.0: 한국어 42% / 영어 51% / 기타·코드 7%
• 카카오 Kanana: 영·한 이중언어. 리포트에 "고품질 영어 데이터가 한국어 벤치마크 점수를 올린다"고 명시
• KT Mi:dm: 합성 데이터 약 14%, Mi:dm K 2.5 Pro는 한국어 코퍼스의 3~10%를 중국어·일본어로
• 네이버 HyperCLOVA X THINK: targeted synthetic Korean data를 문서에 명시
• Llama-3-Motif만 한국어:영어 = 9:1로 한국어 편중 — 대신 base가 이미 15T 영어를 먹은 모델이다

"한국어 100% 처음부터 학습"은 선택지가 아니라 불가능이다. 그리고 대부분의 리포트가 한국어 토큰 비중을 퍼센트로 밝히지 않는다는 사실 자체가 신호다. EXAONE도 Kanana도 총 토큰은 공개하면서 한국어 몫은 말하지 않는다.

그런데 영어를 섞으면 한국어가 얼마나 좋아지나

"수학적 강제"라고 쓰긴 했지만, 정확히 말하면 강제가 아니라 교환이다. 그리고 교환비를 모르면 예산을 짤 수 없다. 이 질문에 대한 답이 시리즈에서 가장 부실한 부분이라 따로 파봤는데, 결론부터 말하면 한국어에 대한 공개된 전이 계수는 존재하지 않는다. 그래도 근사할 재료는 있다.

가장 가까운 도구가 전이 스케일링 법칙이다. "사전학습된 파라미터가 목표 도메인 데이터 몇 토큰의 값어치인가"를 실효 전이 데이터 D_T로 정의하고 멱법칙으로 적합한다.

D_T = k · D_F^α · N^β  (영어→파이썬 기준 α = 0.18, β = 0.38)

여기서 두 가지가 따라 나온다.

• 목표 언어 데이터가 적을수록 전이의 값어치가 폭발한다. 논문의 예시로, 4천만 파라미터 모델에 목표 도메인 데이터가 아주 적을 때 사전학습의 효과가 목표 데이터 1,000배에 해당했다. 한국어처럼 D가 막힌 언어가 정확히 이 구간이다.
• 모델이 클수록 전이를 더 잘 받는다(β = 0.38). 반대로 목표 언어 데이터를 10배 늘리면 전이 배수는 오히려 떨어진다(지수가 음수). 즉 영어의 값어치는 한국어가 부족할 때 가장 크고, 한국어를 채울수록 줄어든다.

혼합 비율 쪽에는 더 직접적인 형태가 있다 — 언어 i의 손실이 그 언어의 비중에 대해 L_i ∝ p_i^(−γ)를 따르고, 언어 계열별로 γ = 0.065~0.140이 적합됐다. 한국어는 이 연구의 다섯 계열 어디에도 없어서 인접 계열 값(γ ≈ 0.115)을 빌리면, 한국어 비중을 절반으로 줄일 때 한국어 손실이 약 8% 나빠진다는 계산이 나온다. 이건 필자가 대리값으로 환산한 추정이지 논문의 주장이 아니다. 다만 자릿수 감각으로는 쓸 만하다 — 한국어를 절반 줄이는 대가가 파국적이지 않다는 것.

가장 실무적인 결과는 언제 CPT를 하고 언제 처음부터 학습하나의 교차점이다. 실효 데이터를 D_eff = D_목표 + Σ(전이계수 × D_보조) 형태로 적합한 연구는 목표 언어 토큰이 1,440억 미만이면 계속사전학습(CPT)이, 2,830억 이상이면 처음부터 학습이 유리하다는 구간을 제시한다. ⑥편에서 본 한국어 고유 토큰 추정(0.4T~1.7T)이 이 경계 위에 걸쳐 있다는 게 흥미로운데, 정제된 고품질 한국어만 세면 대부분의 팀이 CPT 구간에 있다.

국내 실측 — 한국어 100억 토큰당 KMMLU 1~1.6점

이론보다 나은 게 통제된 실측이다. 같은 base 모델에 한국어만 추가한 사례가 둘 있다.

사례	추가 한국어 토큰	KMMLU 변화
Yi-6B → Yi-Ko-6B	60B	+5.85
Yi-34B → Yi-Ko-34B	40B	+6.56

대략 한국어 100억 토큰당 KMMLU 1~1.6점이고, 큰 모델이 같은 토큰을 더 효율적으로 변환한다(34B가 더 적은 토큰으로 더 많이 올렸다). 방향이 위의 β = 0.38 예측과 일치한다는 게 그나마 위안이다.

그리고 예외가 하나 있다. SKT는 Qwen2.5-72B(KMMLU 66.44)를 A.X 4.0(78.32)으로 만들어 +11.88을 얻었는데, 이는 위 비율의 두 배 가까이다. 설정 파일을 보면 단서가 있다 — 어휘를 152,064에서 102,400으로 교체했다. 토크나이저를 바꾼 것이다. 같은 한국어 토큰을 넣어도 토크나이저를 갈면 이득이 배가된다는 해석이 가능하다(⑪편에서 다시 본다).

다만 이 그림을 과신하면 안 된다

국내 모델 전체를 "한국어 비중 대 KMMLU"로 흩뿌려 보면 기울기가 오히려 음수로 나온다. Polyglot-Ko는 한국어 100%인데 29.26이고, A.X K2는 한국어 15.4% / 영어 72.7%인데 80.5다. 물론 이건 인과가 아니라 교란이다.

• base 모델 품질이 압도적으로 지배한다. 한국어를 한 톨도 안 넣고 Qwen 세대만 올려도 KMMLU가 15점 넘게 오른다.
• 파라미터 수가 한국어 비중과 역상관이다. 큰 모델일수록 다국어이고, 큰 모델일수록 점수가 높다.
• CPT 모델과 처음부터 학습한 모델은 분모가 다르다. ⑪편에서 볼 DUS 문제와 같은 종류다.

결정적으로 평가 노이즈가 효과 크기만큼 크다. 같은 모델, 같은 벤치마크인데 누가 돌렸느냐에 따라 최대 10.8점까지 차이 났다. 프롬프트 형식·few-shot 수·정규화 방식이 다르기 때문이다. 남이 보고한 KMMLU를 표에 나란히 놓고 순위를 매기는 것 자체가 위험하다는 뜻이고, 이건 이 시리즈가 인용하는 모든 벤치마크 표에 해당하는 경고다. 비교하려면 같은 하네스로 직접 다시 돌려야 한다.

마지막으로 반대 방향의 우려 — "언어를 많이 섞으면 언어당 성능이 떨어진다"는 다국어의 저주는 어떤가. XLM-R에서 언어를 7개에서 100개로 늘렸을 때 XNLI가 71.8 → 67.7로 떨어진 게 고전적 근거다. 다만 후속 연구는 이게 소형 모델 현상이라고 정리했다 — 1.1B/3B 규모에서는 저주가 관측되지 않았다. 처방도 명확하다. 은닉 차원을 키우거나(768→1152로 30개 언어 모델이 7개 언어 모델 수준 회복), 어휘를 키우면 된다(32K→256K에서 +2.8%p). 국산 모델의 큰 어휘가 여기서 또 한 번 값을 한다.

토크나이저 — 유일한 무료 점심

여기서 한국어에만 있는 레버가 등장한다. 6ND의 D는 글자 수가 아니라 토큰 수다. 그러니 토크나이저를 바꾸는 건 데이터를 늘리는 것과 수학적으로 같은 일이다.

토크나이저	어휘	한국어 효율
HyperCLOVA X	100,000	동일 문서 676.48토큰
GPT-4	—	같은 문서 1,420.30 (2.10배)
LLaMA	—	같은 문서 2,079.11 (3.07배)
EXAONE	102,400	2.46 tok/word (Llama 3.1 3.01 = 1.22배)
SKT A.X	비공개	GPT-4o 대비 33% 절약
EEVE (야놀자)	32,000 → 40,960	같은 6.7GB 코퍼스 3.1B → 1.6B (1.94배)

야놀자 EEVE의 사례가 특히 실무적이다. 한국어 토큰 8,960개를 추가한 것만으로 같은 코퍼스의 토큰 수가 절반이 됐다. 어휘를 28% 늘려서 D를 49% 줄인 것이다.

이게 왜 결정적인가. 압축률 2배는 D를 절반으로 줄이는 게 아니라 같은 컴퓨트에 2배의 정보를 넣는 것이다. 그리고 효과가 세 군데에 동시에 나타난다.

• 학습비 절반 — 같은 텍스트를 절반의 토큰으로 학습한다.
• 추론비 절반 — 같은 답변을 절반의 토큰으로 생성한다. 이건 모델 수명 내내 복리로 돌아온다.
• 컨텍스트 실질 2배 — 128K 윈도우에 2배 분량의 한국어가 들어간다.

뒤집어 말하면 영어권 오픈 모델을 토크나이저 손대지 않고 그대로 쓰면 한국어에서 학습·추론 비용을 2~3배 내고 컨텍스트도 실질 3분의 1로 쓰고 있는 것이다. 이 시리즈에서 유일하게 진짜 공짜 점심에 가까운 항목이다.

어휘 크기도 스케일링 법칙을 따른다

흥미로운 건 최적 어휘 크기 자체가 모델 크기와 함께 커진다는 법칙이 있다는 점이다. 이 기준으로 보면 Llama2-70B의 32K 어휘는 예측 최적치(약 216K)의 7분의 1에 불과하다. 3B급에서 어휘를 32K에서 43K로만 늘려도 ARC-C가 29.1 → 32.0으로 올랐다는 실측도 있다.

그리고 국산 모델들은 이미 그 방향에 있다.

• EXAONE 102,400 / Kanana-2 128,256 / KT Mi:dm 131,392 / K-EXAONE 153,600 / Solar-Open2 196,608
• 가장 명시적인 건 SKT A.X K1이다 — 스케일링 법칙 추정치 약 132,500을 10T 토큰 레짐을 고려해 163,840으로 25% 상향했다고 리포트에 적었다.

즉 국산 모델의 큰 어휘는 "한국어라 어쩔 수 없이" 키운 것인데, 결과적으로 어휘 스케일링 법칙이 권하는 방향과 일치한다. 제약이 우연히 최적에 가까워진 드문 경우다. 영어권 모델을 그대로 쓰는 팀이 놓치고 있는 이득이기도 하다.

그래서 비율을 어떻게 정하나 — 혼합 비율 스케일링 법칙

"한국어 : 영어 : 코드 = ? : ? : ?"는 한국 팀의 실제 의사결정 변수인데, 이걸 정하는 방법론이 있다는 걸 아는 사람이 의외로 적다. 다만 비용 차이가 크고, 최근에 회의적인 반론도 나왔다. 순서대로 보자.

• Data Mixing Laws: 소규모 프록시 런으로 혼합 비율 → 최종 손실을 예측한다. 함수형이 멱법칙이 아니라 지수형이라는 게 특징이다. 성과는 확실하다 — 최적화한 혼합이 기본 혼합의 73% 스텝에서 같은 손실에 도달했고, 뒤집으면 기본 혼합은 48% 더 많은 스텝이 필요했다. 문제는 비용이다. 논문 스스로 오버헤드를 목표 런의 1/5 ~ 1/50(2~20%)로 적는다. 결코 공짜가 아니다.
• RegMix가 비용 면에서 승자다. 100만 파라미터 모델 512개를 각 1B 토큰으로 돌려 회귀로 최적 비율을 찾는데, 1B/25B 목표 런 대비 2.05%다. DoReMi 대비로는 컴퓨트가 10분의 1이고, 전부 병렬 실행이 가능하다. 성과는 사람이 고른 비율 대비 +2.2%p, 그리고 1M에서의 순위가 1B에서의 순위와 상관계수 0.97이었다.

여기서 핵심 구분이 나온다. 순위는 전이되지만 절대 최적값은 전이되지 않는다. 같은 목표 코퍼스에 대해 최적 가중치가 101M 모델에서 9.5%였다가 539M에서 1.9%로 5배 이동한 실측이 있다. 방향성도 밝혀져 있다 — 위키·논문처럼 정제된 도메인은 규모가 커질수록 비중이 빠르게 줄고, 다양한 웹 데이터는 비중이 커진다. 즉 작은 프록시로 "A가 B보다 낫다"는 알 수 있지만 "한국어 37%가 최적"은 알 수 없다.

그리고 정직하게 덧붙일 반론이 있다. 스탠퍼드의 Aioli 연구는 "기존 방법 중 어느 것도 단순 층화 샘플링(stratified sampling) 베이스라인을 일관되게 이기지 못한다"고 결론지었고, 일부 방법은 최대 6.9 PPL 더 나빴다. 다른 비교 실험에서는 Data Mixing Laws가 꼴찌를 하기도 했다. 실무 처방: 무슨 방법을 쓰든 층화 샘플링 베이스라인을 나란히 돌려라. 정교한 방법이 단순한 방법을 이기는지부터 확인하는 게 순서다.

국내 사례로는 카카오가 사실상 이 방식을 프로덕션에서 썼다. Kanana의 2단계 데이터는 가벼운 어닐링 실험과 어블레이션으로 선정됐다고 리포트에 적혀 있다 — 프록시 기반 혼합 탐색이다. 효과는 모델이 클수록 컸다.

Kanana 2단계 효과	KMMLU	벤치마크 평균
8B	45.51 → 48.30 (+2.79)	46.81 → 57.44 (+10.63)
26.8B	54.26 → 59.04 (+4.78)	58.32 → 67.01 (+8.69)

전체의 10%인 고품질 구간이 이만큼을 만든다. 예산이 적은 팀이 가장 먼저 훔쳐야 할 게 이것이다 — 모델을 키우거나 토큰을 늘리는 건 돈이 선형으로 들지만, 마지막 10% 구간의 데이터를 갈아엎는 건 이미 쓰기로 한 예산 안에서 하는 일이다.

정리 — 한국어에서 D축을 늘리는 다섯 가지 방법

1. 토크나이저를 고쳐라. 가장 싸고 효과가 세 방향으로 온다. 어휘 8,960개 추가로 코퍼스가 1.94배가 된 사례가 있다.
2. 영어와 코드를 섞어라. 코드는 손실 기준으로 50%까지 무해하지만 자연어 추론 벤치마크의 최적점은 25% 근처이고, 어닐링 구간에 20%를 넣는 게 특히 효과적이다(⑥편).
3. 혼합 안에서 반복하라. 단일 소스로는 4에폭이 한계지만, 풍부한 영어·코드가 섞인 혼합 안에서는 희소한 한국어를 15~20회까지 반복해도 견딘다. 그리고 R_D* > R_N*의 함의(모델 키우기보다 에폭 늘리기)가 D가 막힌 언어에 그대로 적용된다.
4. 비율은 프록시로 찾되 베이스라인과 비교하라. RegMix식 탐색이 목표 런의 2% 수준이고 순위 상관이 0.97이다. 다만 절대 최적값은 스케일에 따라 이동하고, 층화 샘플링을 못 이기는 경우도 있다.
5. 마지막 10%를 고품질로. 국립국어원 모두의 말뭉치나 AI Hub의 정제된 데이터는 사전학습 스케일에서는 반올림 오차지만, 어닐링 구간에 넣을 재료로는 최상급이다. 카카오가 10%로 평균 10.63점을 올린 그 자리다.

그런데 D축을 다 짜내도 한계가 있다면, 남은 축은 N뿐이다. 그리고 2025년 이후 MoE가 그 N을 두 개로 쪼갰다.

— 친칠라 법칙 시리즈 ⑦ / 다음 글: 6ND가 두 조각으로 쪼개진 날 — MoE와 메모리 축