친칠라 법칙 ⑤ — 오버트레이닝의 청구서: 파인튜닝이 깨지고 양자화가 안 먹는다

앞 편의 결론은 "토큰을 더 먹여라, 포화점도 없다"였다. 실제로 47개 모델로 10,000:1까지 밀어도 품질은 계속 좋아졌다. 그런데 그 실험들은 사전학습 손실만 봤다. 모델을 실제로 쓰려면 파인튜닝을 하고 양자화를 해서 배포한다. 그 단계에서 청구서가 도착한다.

먼저, 수익률 곡선이 생각보다 납작하다

포화점이 없다는 것과 수익률이 유지된다는 건 다른 말이다. 같은 논문이 어느 구간의 데이터로 법칙을 적합하느냐에 따라 지수가 크게 달라진다는 것을 보였다.

적합 구간	α (N 지수)	β (D 지수)
친칠라 원본	0.34	0.28
통상 구간만(≤100 토큰/파라미터)	0.08	0.13
전 구간(10~10,000)	0.18	0.24

논문의 경고 문장이 정확하다 — "통상적인 토큰/파라미터 구간에서만 수집한 데이터로 법칙을 만들면 극단 구간에서 추가 토큰의 효과를 과대평가한다." 200:1 구간의 실험으로 2,000:1을 예측하면 실망하게 된다는 뜻이다. 이건 ⑫편에서 직접 스케일링 법칙을 적합할 때도 그대로 적용되는 함정이다.

청구서 ① 과학습한 모델은 파인튜닝이 깨진다

Catastrophic overtraining 연구가 반직관적인 사실을 보였다. OLMo-1B를 서로 다른 토큰 수까지 학습시킨 뒤 동일하게 파인튜닝했더니:

• 3T 토큰까지 학습한 모델이 2.3T 모델보다 파인튜닝 후 2% 이상 나빴다.
• 조건에 따라서는 1.5T 모델 수준까지 떨어졌다. 사전학습에 태운 7,000억 토큰이 마이너스 값을 냈다는 뜻이다.
• 임계점은 약 2.5T, 1B 모델 기준으로 2,500:1이다.

메커니즘은 progressive sensitivity다. 오래 학습할수록 가중치가 더 예민해져서, 파인튜닝뿐 아니라 양자화·프루닝 등 사후에 가하는 모든 변형에 취약해진다. 사전학습 손실만 보면 계속 좋아지는데, 손대는 순간 무너진다.

청구서 ② 그리고 양자화가 안 먹는다

정밀도 스케일링 법칙은 465회 이상의 사전학습 런으로 학습 후 양자화(PTQ)의 열화를 적합했다. 결과는 δ ∝ (D/N)^γ — 토큰/파라미터 비율이 높을수록 양자화 열화가 커진다. 논문의 표현은 더 세다. "추가 데이터가 추론 시점 성능에 적극적으로 해롭다."

그리고 논문이 지목한 위험 구간이 D/N ≈ 2,000인데, 이게 정확히 Llama-3-8B가 서 있는 자리다(1,875:1). 아이러니가 완성된다 — 추론비를 아끼려고 오버트레이닝을 했더니, 추론비를 아끼는 INT8 양자화가 망가진다.

덧붙여 같은 연구는 컴퓨트 최적 학습 정밀도가 16비트가 아니라 7~8비트라고 결론짓는다. 16비트는 낭비이고, 4비트로 가려면 모델을 불균형하게 키워야 한다.

그런데 한국 온디바이스 모델이 바로 그 자리에 있다

두 연구의 임계값(2,500:1과 2,000:1)을 ⑪편에서 볼 국내 모델 비율에 겹쳐 보면 불편한 그림이 나온다.

모델	토큰/파라미터	두 임계값 대비
EXAONE 4.0 1.2B	10,000:1	둘 다 크게 초과
EXAONE 3.5 2.4B	2,708:1	둘 다 초과
Kanana Nano 2.1B	143:1	안전 구간

온디바이스 모델은 정의상 양자화를 전제로 한다. 스마트폰이나 엣지 기기에 BF16으로 올리지 않는다. 그런데 온디바이스용으로 만든 소형 모델일수록 토큰/파라미터 비율이 극단으로 가고, 그 자리가 하필 양자화가 가장 안 먹는 자리다.

다만 이건 내가 두 연구의 임계값을 국내 모델 비율에 대입해 본 추론이지 실측이 아니다. OLMo의 2.5T 임계는 1B 모델과 특정 데이터셋에서 나온 값이고, EXAONE에 그대로 적용된다는 증거는 없다. 데이터 품질, 학습 스케줄, 어닐링 방식이 다르면 임계도 이동한다. 그러니 주장이 아니라 검증해 볼 가설로 읽어야 한다. 그리고 검증 방법은 간단하다 — 온디바이스 모델을 배포하기 전에 BF16 성능이 아니라 INT8/INT4 성능으로 벤치마크를 다시 재는 것이다. 어차피 그 형태로 나갈 거라면 그게 맞는 측정이다.

그래서 대안은 증류다

과학습의 목적이 "작은 모델을 좋게 만드는 것"이라면, 같은 목적을 달성하는 다른 경로가 있다. 증류(distillation)다.

Gemma 2가 이걸 명시적으로 썼다 — 증류로 "가용 토큰을 넘어선 학습을 흉내내" 컴퓨트 최적의 50배 이상 토큰을 정당화했고, Gemma 3는 전 사이즈에 적용했다. Llama 3.2의 1B/3B도 프루닝+증류로 만들어졌다.

다만 증류에도 손익분기가 있다. 증류 스케일링 법칙의 결론은 셋이다.

• 교사가 이미 존재하거나 학생이 여럿일 때만 유리하다. 학생 하나를 위해 교사를 새로 만들면 손해다.
• 학생 예산이 충분히 커지면 지도학습이 항상 이긴다. 증류는 작은 학생의 전략이다.
• 교사가 너무 세면 오히려 학생이 나빠진다(capacity gap). 성능이 U자를 그린다.

그리고 한국 팀은 이 조건을 이미 만족한다. 교사가 이미 있고(Qwen·Llama·자사 대형 모델), 학생이 여럿이다(온디바이스·서버·경량). ⑪편에서 보겠지만 네이버가 SEED 모델을 이 경로로 만들었고, 카카오는 증류로 2.1B를 처음부터 학습의 10분의 1 데이터로 더 좋게 만들었다.

정리

• 오버트레이닝의 수익은 사전학습 손실 기준으로는 계속 양수다. 다만 극단 구간에서 곡선은 납작하고, 좁은 구간 데이터로 만든 예측은 이걸 과대평가한다.
• 파인튜닝·양자화 계획이 있으면 D/N을 2,000~2,500 아래로 두는 것을 검토하라. 그 너머는 다운스트림에서 되돌려준다.
• 어차피 양자화해서 배포할 모델은 양자화 상태로 벤치마크하라. BF16 점수는 출시되지 않는 모델의 점수다.
• 작은 모델을 좋게 만드는 게 목적이면 증류를 먼저 계산하라. 교사가 있고 학생이 여럿이면 거의 항상 싸다.

그런데 여기까지의 모든 논의에는 전제가 하나 깔려 있다 — 토큰이 있다는 전제다. 1.2B 모델에 12조 토큰을 먹이려면 그 토큰이 어딘가 있어야 한다. 다음 편은 지구에 남은 텍스트의 재고를 센다.

— 친칠라 법칙 시리즈 ⑤ / 다음 글: 데이터 벽 — 4에폭의 법칙과 남은 재고