친칠라 법칙 ① — 400개 모델과 하나의 반례: 그 논문이 실제로 증명한 것

LLM을 직접 만들기로 했다면 가장 먼저 정해야 하는 숫자가 둘이다. 모델을 얼마나 크게 할 것인가(N), 토큰을 얼마나 먹일 것인가(D). 예산은 이미 정해져 있고, 둘의 곱이 대략 그 예산이다. 2022년 DeepMind의 친칠라 논문이 이 배분 문제에 처음으로 실험적인 답을 냈다. 그리고 그 답은 2024년에 한 번 흔들렸다가 되돌아왔다. 이 시리즈는 거기서 시작한다.

먼저 정정 하나. "파라미터당 20토큰"이라는 문장은 그 논문 어디에도 없다. 그건 친칠라의 실제 레시피인 1.4T ÷ 70B = 20.0이라는 나눗셈의 결과이고, 세 접근법 중 둘이 낸 지수에서 역산된 경험칙이다. 이 구분이 왜 중요한지는 곧 드러난다.

같은 돈으로 모델을 4배 줄이고 데이터를 4배 늘렸더니

친칠라 논문이 실제로 한 일은 이렇다. 70M~16B 파라미터, 5B~500B 토큰 범위에서 400개 이상의 모델을 학습시켜 "고정된 컴퓨트에서 N과 D를 어떻게 나눌 것인가"를 세 가지 독립적인 방법으로 추정했다. 결론은 N과 D를 같은 비율로 키우라는 것이었고, 당시 대형 모델들이 전부 심각하게 과소학습(undertrained) 상태라는 뜻이었다.

검증을 위해 실제 모델을 하나 만들었다. Gopher 280B와 똑같은 컴퓨트 예산(약 5.76×10²³ FLOPs)으로, 파라미터를 70B로 4배 줄이고 토큰을 300B에서 1.4T로 4.7배 늘린 모델이다.

• MMLU 5-shot 60.0% → 67.6%(초록 표기는 반올림한 67.5%). 57개 과목 중 51개 우세, 2개 동률, 4개 열세.
• 참고로 같은 시기 GPT-3(175B / 300B 토큰, 약 1.7:1)는 43.9%였다.
• 그리고 추론 비용이 4분의 1이다. 같은 돈으로 더 좋고 더 싼 모델이 나왔다.

논문의 주장은 "20:1을 지켜라"가 아니라 "같은 예산이면 모델을 줄이고 데이터를 늘려라"였다. 이 문장은 지금도 유효하다. 흔들린 건 그 뒤의 숫자다.

세 가지 계산법, 그런데 하나가 혼자 다른 답을 냈다

접근법	방법	a (N∝C^a)	함의 D/N
① 학습곡선 최소 포락선	모델 고정, 토큰 변화	0.50	약 20:1
② IsoFLOP 프로파일	컴퓨트 고정, 크기 변화	0.49	약 20:1
③ 파라메트릭 손실 적합	전체 손실에 회귀	0.46	약 70:1

접근법 ③의 적합값은 E = 1.6934, A = 406.4, B = 410.7, α = 0.3392, β = 0.2849였다. 이 값들은 Gopher 예산에서 약 40B 모델을 함의하고, 67B 모델에는 4.1T 토큰(약 70:1)이 필요하다고 예측한다. DeepMind가 자기 손으로 만든 친칠라(20:1)와 3.5배 어긋난다. 같은 논문 안에서 말이다.

이 모순이 2년 동안 방치됐다. 그리고 상당수의 해설이 하필 접근법 ③의 계수를 인용했다.

폭 0.001의 신뢰구간 — Epoch AI가 찾아낸 것

2024년 Epoch AI가 접근법 ③을 재현하려 했다. 원 데이터가 공개되지 않아서, 논문 Figure 4의 PDF를 SVG로 변환해 산점도의 좌표와 색상에서 240개 데이터포인트를 역추출하는 방식이었다. 결과는 세 가지였다.

• 추출 데이터에 대한 적합이 나쁘다(카이제곱 검정 p < 10⁻⁵¹).
• 신뢰구간이 물리적으로 불가능하다. 논문이 보고한 a의 80% 구간은 (0.454, 0.455) — 폭이 0.001이다. Epoch의 계산으로 이 정도 구간을 얻으려면 약 60만 번의 학습이 필요한데, 실제로는 400~500번이었다. 약 50배 과신이다.
• 수렴할 때까지 재적합하면 a = 0.5126(표준오차 0.02), 즉 25.6:1로 돌아온다. 접근법 ①·②와 화해한다. 재적합된 법칙은 L = 1.8172 + 482.01/N^0.3478 + 2085.43/D^0.3658이다.

원인은 이론이 아니라 수치 최적화 버그였다. Huber 손실을 합이 아닌 평균으로 잡는 바람에 손실 스케일이 커졌고 L-BFGS 옵티마이저가 수렴 전에 멈췄다. 원논문 공저자도 이를 확인했다.

그러니 정확한 요약은 이렇다 — "친칠라가 틀렸다"가 아니라 "세 방법 중 하나의 옵티마이저가 미수렴했고, 나머지 둘과 실물 모델이 옳았다." 다만 Epoch도 정직하게 한계를 밝힌다. 그림에서 역추출한 재구성 데이터라 손실 정밀도가 ±0.01로 제한되고, 접근법 ①·②는 재현하지 않았다. 즉 20:1 경험칙 자체는 여전히 독립적으로 검증된 적이 없다.

이 사건에서 가져갈 것

세부 계수보다 중요한 교훈이 셋이다.

• 스케일링 법칙 적합은 물리 상수 측정이 아니라 최적화 문제다. 손실 함수 정의, 옵티마이저 설정, 초기값에 결과가 흔들린다. 대기업의 대표 논문에서도 그랬다.
• 신뢰구간은 직접 계산해 보라. "60만 번을 돌려야 나오는 구간"이라는 검산 한 줄이 2년 묵은 오류를 잡았다. 우리 팀 스윕에도 같은 검산을 해야 한다.
• 여러 방법으로 교차 검증하라. 이 논문이 스스로를 구한 것은 접근법이 셋이었기 때문이다. 하나만 돌렸다면 아무도 몰랐을 것이다.

그런데 이야기가 여기서 끝나지 않는다. 친칠라보다 2년 앞선 2020년에 OpenAI는 정반대에 가까운 답을 냈다 — 지수 0.73, 즉 "컴퓨트가 늘면 거의 다 모델 크기에 써라". GPT-3가 175B에 300B 토큰(1.7:1)이었던 게 그 처방의 산물이다. 두 논문은 같은 대상을 측정하고 0.73과 0.50을 얻었다. 둘 중 누가 틀렸을까, 그리고 무엇이 그 차이를 만들었을까. 답은 놀랍도록 시시하고, 그래서 우리에게 훨씬 위험하다.

— 친칠라 법칙 시리즈 ① / 다음 글: 0.73과 0.50 — 지수는 왜 움직이는가