친칠라 법칙 ⑫ — 우리 팀의 스케일링 법칙을 $1,800에 적합하기

②편의 결론은 "남의 계수를 베낄 수 없다"였다. 같은 방법론에 데이터만 바꿔도 지수가 0.450에서 0.578로 움직이니까. 그러면 직접 적합해야 하는데, 친칠라가 400개 모델을 돌렸다는 얘기를 들으면 포기하게 된다. 그럴 필요 없다. 이번 편은 스케일링 법칙 적합의 실제 견적서다.

모델 5개면 된다 — 그리고 오차 4%가 바닥이다

기준점은 485개 공개 모델로 1,000개 이상의 스케일링 법칙을 적합한 연구다. 결론 세 줄이 이 편의 뼈대다.

• "모델 5개면 안전한 선택이고, 더 많으면 견고성이 올라간다. 이 모델들은 작아도 된다."
• 상대오차(ARE) 4%가 현실적으로 얻을 수 있는 최선이다. 이유는 초기화 시드만 바꿔도 손실이 최대 4%까지 흔들리기 때문이다. 그 아래를 노리는 건 노이즈를 쫓는 것이다.
• 동시에 오차 20%짜리 법칙도 쓸모가 있다. "A 데이터가 B보다 낫다", "이 아키텍처가 저것보다 낫다" 같은 판정에는 충분하다.

그리고 가장 값싼 정확도 개선이 여기 있다 — 학습 초반 10B 토큰 구간의 체크포인트를 버려라. 이것만으로 OPT·Pythia처럼 오차가 15%를 넘던 경우가 4~10%로 떨어진다. 코드 세 줄이다.

부수적으로 나온 반직관적 조언 하나 — 큰 모델 1개보다 작은 모델 여러 개가 나을 때가 있다. 시드 분산 때문이다. 예산이 빠듯할수록 이 사실이 유리하게 작동한다.

스윕을 망치는 건 스케일이 아니라 하이퍼파라미터

②편에서 봤듯 소규모 모델의 하이퍼파라미터를 튜닝하지 않으면 지수 자체가 왜곡된다. 이를 구조적으로 막는 게 muP인데, muP를 "성능 기법"으로 오해하는 경우가 많다. Cerebras-GPT의 숫자가 정확한 그림을 준다.

• 손실 개선 0.43%, 다운스트림 +1.7% — 성능 이득은 소박하다.
• 그런데 자기 스케일링 법칙 대비 표준편차가 muP 0.04% vs 표준 파라미터화 0.66%다. 16배 조용하다.

muP의 진짜 가치는 성능이 아니라 분산이다. 오차 4%가 바닥인 게임에서 노이즈를 16분의 1로 줄이는 도구는 성능 향상보다 훨씬 값지다. 튜닝 비용도 싸다 — 40M 프록시에서 전이한 하이퍼파라미터로 GPT-3 6.7B 공개 성능을 넘겼고, 튜닝 비용은 사전학습의 7%였다. 국내에서는 네이버 HyperCLOVA X THINK가 μP를 명시한 사례다.

다만 반전이 있다. DeepMind가 수만 개 모델, 최대 26.8B로 검증한 결과는 "muP만 하이퍼파라미터 전이가 가능한 게 아니다"였다 — 레이어별 학습률을 쓴 표준 파라미터화가 muP를 능가하기도 했다. 어느 처방이냐보다 일관되게 쓰는 것이 중요하다. 그리고 무엇을 쓰든 coord check(폭을 128에서 2048까지 키우며 레이어별 활성값이 폭에 무관한지 확인)는 반드시 통과해야 한다. 여기서 실패하면 이후 스윕이 전부 무의미하다.

배치 크기 처방에는 함정이 하나 있다. ②편에서 Porian이 부수적으로 얻은 값이 B ∝ N^0.28~0.32였는데, 이걸 그대로 스윕에 적용하면 결과가 망가진다.

이유는 이렇다. 컴퓨트 최적 궤적 위에서는 N과 D가 함께 커지므로 "B를 N에 묶는다"와 "B를 D에 묶는다"가 같은 곡선이다. 그런데 IsoFLOP 밴드 안에서는 C가 고정이라 D = C/(6N)이고, N을 키우면 D가 줄어든다. 두 처방의 부호가 정반대가 된다. 이때 N 기반 처방을 쓰면 큰 N 지점이 부당하게 불리해져 포물선 최저점이 왼쪽으로 밀린다.

정답은 후자다. 임계 배치 크기는 모델 크기가 아니라 데이터 크기를 따라 스케일한다는 것이 이 케이스를 겨냥한 결론이다. 실용적인 형태는 MiniCPM의 bs = 1.21×10⁹ / L^6.24인데, 손실이 N과 D를 모두 요약하므로 셋을 통합한다. 같은 연구에서 10배 크기 변화에도 최적 base 학습률이 약 0.01로 거의 불변이었다.

WSD가 규칙을 바꿨다 — 중간 체크포인트가 공짜 데이터가 된다

전통적인 코사인 스케줄에서는 런 하나가 데이터포인트 하나다. 중간 체크포인트는 학습률이 아직 높아 "미완성"이라 쓸 수 없기 때문이다. WSD(Warmup-Stable-Decay)가 이걸 뒤집는다 — 안정 구간의 아무 지점에서나 짧은 감쇠만 붙이면 완성된 모델이 나오므로, 런 하나에서 여러 개의 적합 데이터포인트를 뽑을 수 있다. 스윕 비용이 제곱에서 선형으로 떨어진다.

실무 수치 하나만 기억하면 된다 — 감쇠 구간은 총 토큰의 10%가 필요하고, 2.5%로는 부족하다. 그리고 여기서 더 나간 연구는 학습률 어닐링을 손실 함수에 직접 넣어 1~2회 런만으로 임의 스케줄·임의 스텝의 손실을 예측하는데, 친칠라 방식 대비 컴퓨트가 약 1%다.

손실이 아니라 벤치마크를 예측해야 돈이 된다

경영진이 궁금해하는 건 손실 값이 아니라 "그래서 KMMLU가 몇 점 나오느냐"다. 여기에 두 가지 함정이 있다.

첫째, 정확도에 직접 적합하면 계단이 생긴다. 이른바 "창발적 능력"의 상당 부분이 지표 선택의 산물이라는 것이 밝혀져 있다 — 불연속 지표(정확도)는 계단을, 연속 지표는 매끄러운 개선을 만든다. 심지어 지표를 조작해 비전 네트워크에서 창발을 인위적으로 만들어 낼 수도 있었다. 적합용 프록시는 반드시 연속 지표여야 한다(정답 토큰의 로그우도 등).

둘째, 2단계로 예측해야 한다. (모델·데이터) → 중간 손실 → 태스크 정확도. AI2의 "모델 사다리" 연구가 이 방식으로 타깃 컴퓨트의 1%만 쓰고 7B@4T·13B@5T 모델의 객관식 태스크 정확도를 절대오차 2%p 이내로 예측했다. 다만 체크포인트 간 지표 분산이 큰 태스크일수록 예측 오차가 크다는 단서가 붙는다.

한국어에서는 x축과 D의 단위부터 다시 정해야 한다

②편에서 Kaplan과 친칠라를 갈라놓은 게 임베딩 카운트였다는 걸 봤다. 한국어 모델에서는 이게 훨씬 심각하다.

• 어휘 10만 × d_model 768 = 임베딩만 76.8M. 사다리 하단(수천만 파라미터)에서는 임베딩이 본체보다 크다. 그러니 x축을 파라미터 수가 아니라 비임베딩 M = 72·n_layer·d_model² + 12·n_layer·d_model·l_seq로 잡아야 한다. 한국어에서는 선택이 아니라 필수다.
• 토크나이저를 바꾸면 D의 단위가 바뀐다. 같은 한국어 문서가 HyperCLOVA X에서는 676토큰, GPT-4에서는 1,420토큰이다. "20 tokens/param"의 20이 토크나이저에 따라 이동한다는 뜻이다. 토큰과 바이트(또는 문자) 두 축으로 모두 적합해 두라.
• 그리고 압축률 2배 좋은 토크나이저는 같은 컴퓨트로 2배의 정보를 넣는 것이므로, 데이터 품질 개선과 동등하게 취급해야 한다 — 즉 지수 a를 끌어올린다.

견적서 — 실비 얼마면 되나

⑩편의 기준(H100 dense 989.5 TFLOPS, MFU 40%, VESSL $2.98/시간)으로 환산하면 GPU-시간당 1.425×10¹⁸ FLOPs다. 이 환율로 레시피의 실비를 계산하면 이렇다.

단계	실비
공짜 사전조사(공개 모델로 태스크 선별)	0
muP 셋업 + coord check	< $20
학습률·배치 프록시 스윕(폭 3종 × 54런)	$10~50
IsoFLOP 본 스윕(6밴드 × 6~8점, 최대 1e20)	약 $1,800 (약 600 GPU-시간)
시드 반복(하위 3밴드 × 3시드)	약 $110
적합(2가지 방법 교차 + 부트스트랩 CI)	0 (CPU)
홀드아웃 검증 런(스윕 최대의 10배)	약 $2,090
다운스트림 사다리(체크포인트 재사용)	$0

즉 본 스윕이 $1,800, 검증까지 합쳐도 $4,000 남짓이다. 국내 비교 기준점으로 Trillion-7B가 공개한 실제 학습비가 59.4K H100-시간 / $148K인데, 이 레시피 전체가 그 3% 미만이다. 스케일링 법칙 적합은 이미 중소 팀 예산 안에 있다.

그런데 적합하지 말아야 할 때도 있다

가장 값싼 조언은 "안 해도 되는 경우를 알아두라"는 것이다.

• 데이터셋 후보의 순위만 알고 싶다면 법칙을 적합하지 마라. 25개 사전학습 레시피를 비교한 DataDecide의 결과에 따르면, 단일 150M 지점의 순위가 1B 타깃의 최적 데이터셋을 약 80% 맞힌다. 그리고 테스트한 8개의 스케일링 법칙 방법 중 어느 것도 이 단순한 베이스라인을 능가하지 못했다. MMLU·ARC·HellaSwag 같은 지표는 컴퓨트의 0.01%로 80% 이상 예측됐다.
• 다만 이 결과의 범위를 정확히 알아야 한다 — DataDecide가 답한 건 "어느 데이터셋인가"이지 "어떤 비율인가"가 아니다. 25개 레시피 중 혼합 비율을 바꾼 건 세 점뿐이고, 논문은 그 부분집합의 정확도를 따로 보고하지 않는다. 비율 탐색은 ⑦편에서 본 RegMix식 접근(목표 런의 약 2%)으로 따로 풀어야 한다.
• 다운스트림 정확도에 직접 적합하지 마라. 불연속 지표에 적합하면 계단이 생기고, 그게 이른바 "창발"의 상당 부분이다. 지표를 연속형으로 바꾸면 사라진다. 반드시 (모델·데이터) → 손실 → 정확도의 2단계로 가고, 프록시는 연속 지표(정답 토큰 로그우도 등)를 쓰라. AI2의 모델 사다리가 이 방식으로 타깃 컴퓨트의 1%만 쓰고 7B@4T·13B@5T의 객관식 정확도를 절대오차 2%p 이내로 예측했다.

마지막으로 함정 체크리스트를 남긴다. ① coord check 미통과(IsoFLOP 포물선이 비대칭이면 의심). ② 적합 구간이 좁음(밴드는 최소 2.5 오더). ③ 초기 체크포인트 오염(첫 10B 토큰 제거). ④ 시드 노이즈(3시드로 측정하고, 오차 4% 미만을 목표로 삼지 말 것). ⑤ 불연속 지표. ⑥ 임베딩 오염(비임베딩 M 사용). ⑦ 과신하는 신뢰구간 — ①편의 폭 0.001 사건이 대기업 논문에서도 일어난다. 반드시 두 가지 적합법을 교차하고 부트스트랩으로 신뢰구간을 직접 구하라. 두 방법이 불일치하면 멈추고 데이터를 의심하라.

그리고 로깅은 아끼지 마라. 스텝별 손실, 소비 토큰과 바이트 둘 다, 비임베딩 M, 총 FLOPs, 학습률·배치, grad norm, MFU, 시드, 데이터 스냅샷 해시, 체크포인트별 연속 다운스트림 지표. 최종 손실 하나만 저장하는 것이 가장 흔하고 가장 비싼 실수다.

— 친칠라 법칙 시리즈 ⑫ / 다음 글: 2026년의 예산표 — 사전학습 : 사후학습 : 테스트타임 (완결)