친칠라 법칙 ⑥ — 데이터 벽: 4에폭의 법칙과 지구에 남은 재고

앞 편까지의 결론은 "모델을 줄이고 토큰을 늘려라"였다. 실제로 1.2B 모델에 12조 토큰을 먹이는 시대가 됐다. 그런데 친칠라를 그대로 밀면 필요한 토큰이 컴퓨트의 제곱근으로 늘어난다. 그 토큰이 지구에 남아 있는가.

공개 텍스트의 재고와 소진 시점

Epoch AI의 추정(2024년 개정판)이 기준선이다.

• 인덱싱된 웹 510T 토큰(95% 신뢰구간 130T~2,100T), Common Crawl 130T, 비인덱스 포함 인터넷 전체 3,100T.
• 중복 제거와 품질 필터를 통과하는 비율을 10~40%로 잡으면 실효 재고는 약 300T 토큰.
• 학습 데이터셋 크기는 연 2.4배(0.38 OOM/년)로 커진다.
• 소진 중앙값 2028년, 80% 구간 2026~2032년. 오늘이 2026년이니 우리는 그 구간 안에 서 있다.
• 그리고 과학습이 벽을 앞당긴다 — 5배 과학습이면 2027년, 100배면 2025년에 이미 소진이다. ④편에서 본 1,875:1을 떠올리면 이건 먼 얘기가 아니다.

신뢰구간이 16배 폭이라는 점은 정직하게 짚어야 한다. 이 숫자들은 정밀한 재고 조사가 아니라 자릿수 감각이다. 다만 자릿수만으로도 결론이 나온다 — 프런티어 학습량이 연 2.4배로 커지는데 재고는 고정이면, 몇 년 안에 만난다.

4에폭까지는 공짜다 — 그리고 규칙이 뒤집힌다

데이터가 모자라면 같은 데이터를 다시 보면 된다. 문제는 몇 번까지 통하느냐인데, Muennighoff 등의 400회 학습 실험(최대 9B/900B 토큰)이 3단계로 답을 정리했다.

• ~4에폭: 새 데이터와 손실 차이가 무시할 수준. 사실상 공짜다.
• 4~16에폭: 이득이 급격히 감쇠하지만 여전히 양수다. 데이터가 부족한 언어에서 실제로 살아 있는 구간이 여기다.
• 16에폭 이후: 반복 토큰의 반감기 상수 R_D* = 15.4를 넘어서면 추가 이득이 사실상 0. 고유 토큰의 이론적 실효 상한은 약 16배다.

더 중요한 건 두 상수의 대소 관계다 — 반복 토큰의 감쇠 상수 R_D* = 15.4가 여분 파라미터의 감쇠 상수 R_N* = 5.3보다 크다. 이는 데이터가 부족할 때 남는 컴퓨트를 모델 키우기보다 에폭 늘리기에 쓰는 게 낫다는 뜻이다. 친칠라의 "파라미터와 토큰을 같이 키워라"가 데이터 제약 아래서 깨지는 정확한 지점이 여기다.

같은 논문의 부수적 발견도 실무적이다. 학습 데이터의 50%까지 코드로 채워도 자연어 손실이 나빠지지 않고, 실효 토큰이 2배로 늘어난다(50%를 넘기면 하락). 코드는 자연어 데이터의 대체재다. 한국어처럼 D축이 막힌 언어에서 이건 큰 레버다.

다만 여기엔 중요한 단서가 붙는다. 손실 최적과 벤치마크 최적이 다르다. 코드 비중을 0·25·50·75·90·100%로 전부 돌려 본 어블레이션에서 자연어 추론 성능의 최적점은 25%였고(0% 대비 +3.4%), 100%는 25% 대비 −18.3%였다. 더 눈에 띄는 건 세계 지식(world knowledge)은 코드 비중에 단조 감소한다는 점이다 — 코드 100%면 −86%다. 즉 "50%까지 공짜"는 손실 기준의 상한이고, 실제로 벤치마크를 올리려면 25% 근처가 낫다. 대신 어닐링 구간에 코드 20%를 넣으면 세계 지식 +10.1%, 코드 능력 +20%가 나왔는데, 코드 없이 어닐링하면 이득이 거의 없었다.

양이 막히면 질 — 90%를 버리는 사람들과 4배를 남기는 사람들

기본기는 여전히 중복 제거다. C4 분석에서 61단어짜리 문장 하나가 6만 번 반복돼 있었고, 중복을 제거하면 암기 텍스트 방출이 10배 줄고 검증셋 오염(4% 이상)도 줄어든다.

그다음이 필터링인데, 여기서 흥미로운 논쟁이 벌어진다.

• FineWeb-Edu는 교육적 가치 점수로 원본의 92%를 버려 1.3T 토큰만 남기고 지식·추론 벤치마크를 끌어올렸다.
• DCLM-Baseline은 2.6T 토큰으로 7B를 학습해 MMLU 64%, Llama 3 8B 수준을 6.6배 적은 컴퓨트로 달성했다. 좋은 데이터는 컴퓨트를 6배 아낀다.
• 반대로 Nemotron-CC는 "90%를 버리는 대가"를 지적하며 고유 토큰을 4배 유지하면서 MMLU 동급을 냈고, 8B/1T 학습에서는 DCLM 대비 +5.6 MMLU였다.

둘을 화해시키는 건 필터링 스케일링 법칙이다 — 필터링 강도는 컴퓨트 예산의 함수다. 컴퓨트가 작으면 빡세게 거르는 게 맞고, 컴퓨트가 커서 에폭을 여러 번 돌 거라면 덜 걸러야 한다. 고품질 데이터는 반복될수록 빨리 가치를 잃기 때문이다. 몇 에폭을 돌 계획인지 모르면 최적 필터 임계값을 정할 수 없다는 뜻이기도 하다.

그리고 요즘 표준 레시피인 "대량 중간품질 → 소량 고품질 어닐링"도 이 논리 위에 있다. 국내 사례가 가장 구체적이다 — 카카오 Kanana는 1단계 2.7T + 2단계 300B로 학습했는데, 전체의 10%인 2단계만으로 KMMLU가 2.79점, 평균이 10.63점 올랐다. LG EXAONE 3.0도 6T 일반 + 2T 전문의 2단계다.

합성 데이터 — 마법인가 자기잠식인가

되는 쪽부터. phi-4는 약 10T 토큰 중 합성 데이터 400B(50가지 유형)를 최종 혼합의 40%로 넣어 GPQA·MATH에서 교사 모델을 넘었고, 웹 문서를 다시 쓰는 WRAP은 사전학습을 3배 가속했다. 규칙은 이렇게 정리된다 — 합성 데이터는 새 정보를 만들 때가 아니라 이미 가진 정보를 학습하기 쉬운 형태로 재배열할 때 작동한다.

안 되는 쪽은 모델 붕괴다. 자기 출력으로 다음 세대를 학습시키면 분포의 꼬리부터 사라지고 결국 분산이 작은 엉뚱한 분포로 수렴한다. 다만 후속 반박이 조건을 명확히 했다 — 붕괴하는 건 원본을 합성으로 치환할 때이고, 원본 위에 누적하면 테스트 오차 상한이 세대 수와 무관하게 유한하다. 원본을 10%만 남겨도 붕괴가 크게 완화된다.

즉 모델 붕괴는 종말론이 아니라 파이프라인 설계 실수에 대한 경고다. 데이터를 치환하지 말고 누적하라는 것. 동시에 합성 데이터가 데이터 벽을 없애 주지도 않는다 — 새 정보를 만들지는 못하기 때문이다.

그래서 우리에게 남은 토큰은 몇 개인가

여기서 이 편의 가장 정직한 부분을 짚어야 한다. 실효 재고 추정은 반복 배수 가정 하나에 4배씩 흔들린다. 위에서 본 세 숫자가 서로 다른 질문의 답이기 때문이다.

시나리오	반복 배수	근거
보수	4×	손실 페널티가 사실상 0인 구간만 인정
중립	8×	감쇠 구간의 절반까지 활용
상한	16×	R_D* = 15.4, 이론적 최대

Epoch AI 자신은 보수적으로 5배를 정책 가정으로 썼다. 어떤 값을 쓰느냐에 따라 "벽"의 위치가 몇 년씩 움직인다. 이 불확실성을 숨기고 하나의 연도를 단언하는 글은 믿지 말아야 한다 — 이 시리즈의 것을 포함해서.

어쨌든 영어의 벽은 2028년 언저리다. 그런데 한국어로 모델을 만드는 사람에게 이 편의 숫자는 전부 남의 이야기다. 한국어의 벽은 미래가 아니라 이미 지나간 지점에 있다. 다음 편은 그 좌표를 정확히 찍는다.

— 친칠라 법칙 시리즈 ⑥ / 다음 글: 한국어의 D축 — 토크나이저가 유일한 무료 점심인 이유