친칠라 법칙 ⑧ — 6ND가 두 조각으로 쫪개진 날: MoE와 메모리 축

③편에서 6ND가 깨지는 세 지점을 봤는데, 그중 MoE는 단순한 예외가 아니라 문제의 차원을 바꾼다. 친칠라는 컴퓨트 하나를 최적화하는 문제였다. MoE는 그걸 (컴퓨트, 메모리) 두 개로 쪼갰다. 2025~26년 국내 모델이 사실상 전부 MoE로 넘어갔으니, 이건 이제 선택 사항이 아니다.

두 개의 청구서

• 학습·추론 컴퓨트: C ≈ 6 · N_active · D
• 메모리(VRAM): N_total에 비례

DeepSeek-V3가 이 분열을 가장 선명하게 보여준다 — 학습 FLOPs로는 37B급이고, 서빙 메모리로는 671B급이다. 두 숫자가 18배 차이 나고, 각각 다른 예산 항목에 청구된다.

Clark 등이 이걸 처음 정리했다. 라우팅 모델에서는 파라미터 수와 토큰당 연산량이 독립적인 두 축이 되며, 둘을 하나로 묶는 "실효 파라미터 수"를 정의할 수 있다. 구체적으로 N=5M에 전문가 128개짜리 모델이 N=55M dense와 동등했다 — 추론 FLOPs를 10배 아낀 것이다.

잘게 쪼갤수록 이득이 커진다 — 그리고 교차점은 없다

한동안 통용되던 반론이 있었다. "MoE는 작은 모델에서만 이득이고 규모가 커지면 dense가 따라잡는다"는 것이다. granularity(전문가를 얼마나 잘게 쪼갤 것인가, G = d_ff / d_expert)를 최적화 변수로 넣으면 이 결론이 뒤집힌다.

컴퓨트	최적 granularity G
1e20 FLOPs	8
1e21	16
1e23	32
1e24	64

G를 고정한 채 비교하면 규모가 커질수록 MoE 이득이 줄어드는 것처럼 보이지만, G까지 최적화하면 dense 대비 절감폭이 1e20에서 20배 → 1e25 초과에서 40배 이상으로 오히려 벌어진다. "dense가 다시 이기는 교차점"은 나타나지 않는다. 실물 검증도 있다 — DeepSeekMoE 16B가 LLaMA2 7B와 동급 성능을 연산 40%로 냈다.

Apple의 sparsity 스케일링 연구는 방향을 더 명확히 정리했다 — 컴퓨트가 커질수록 총 파라미터는 늘리고 활성 파라미터는 줄이는 게 최적이며, 최적 sparsity는 모델이 커질수록 1.0에 접근한다. 친칠라의 "N을 키워라"가 "N_total을 키우고 N_active를 줄여라"로 교체된 것이다.

그런데 하드웨어가 아키텍처를 고른다

여기가 예산이 작은 팀에게 가장 중요한 대목이다. 위 결론은 메모리가 무한할 때의 이야기다. 메모리 제약을 목적함수에 넣고 최적 전문가 수를 풀면 답이 완전히 달라진다.

• 24GB GPU에서는 1e23 FLOPs 이상이면 E=1, 즉 dense가 최적이다. MoE의 이론적 이득이 VRAM에 전부 잡아먹힌다.
• 80GB에서는 E = 8~16 대역.
• 8×H100(640GB)에서는 전 구간에서 E≥32가 최적이다.

같은 문제, 같은 목적함수인데 손에 쥔 GPU가 아키텍처를 결정한다. "MoE가 대세니까 우리도"가 아니라 "우리 서빙 환경의 VRAM이 얼마인가"가 먼저다. 업스테이지가 Solar Pro를 설계할 때 "80GB 단일 GPU 구동"을 명시적 설계 목표로 걸고 파라미터 수를 22B로 정한 것도 같은 논리다 — 서빙 제약이 파라미터 수를 먼저 정하고 학습 예산이 뒤따랐다.

만드는 사람과 파는 사람의 최적점이 다르다

또 하나의 분열이 있다. compute-optimal과 inference-optimal이 같은 값이 아니다.

• 서빙 효율만 보면 전문가 4~8개가 최적이다. E=2는 추론 토큰당 FLOPs를 36%, E=4는 61% 절감한다.
• 그런데 같은 성능에 도달하기까지 학습 비용이 2.5~3.5배 든다.

즉 전문가를 적게 두면 서빙은 싸지만 학습이 비싸진다. ④편의 "누적 요청 수를 먼저 적어라"가 여기서도 그대로 적용된다.

재활용(upcycling)에도 손익분기가 있다. dense 모델을 MoE로 부풀리는 건 예산이 작을 때만 유리하다 — 8×1B 기준 임계점이 약 4B 토큰이고, 그 이상 학습할 거면 처음부터 MoE로 짓는 게 낫다. 그리고 원본에 부은 매몰 컴퓨트가 클수록 재활용 효율이 떨어진다는 상호작용항이 실측됐다. 좋은 dense 모델일수록 MoE로 개조하기 나쁘다는 뜻이라, 직관과 반대다.

국내외 활성비가 한 대역으로 수렴했다

모델	총 / 활성	활성비
gpt-oss	—	4.4%
K-EXAONE 2.0 (LG)	750B / 37B	4.9%
DeepSeek-V3	671B / 37B	5.5%
Solar-Open2 (업스테이지)	250B / 15B	6.0%
Qwen3	—	9.4%
K-EXAONE (LG)	236B / 23B	9.7%
Kanana-2 (카카오)	30B / 3B	10%

한국·중국·미국이 독립적으로 4~10% 대역에 수렴했다. 서로 다른 팀이 서로 다른 예산과 하드웨어로 도달한 값이니, 사실상 업계 공통해로 봐도 무방하다. 새로 설계한다면 이 대역 밖으로 나갈 때 왜 나가는지 설명할 수 있어야 한다.

MoE 설계에서 실무적으로 정할 것을 정리하면 이렇다.

1. 서빙 VRAM을 먼저 정한다. 이게 총 파라미터의 상한이다.
2. 활성비를 4~10%에서 고른다. 서빙 물량이 많을수록 낮은 쪽.
3. granularity는 컴퓨트 예산에 맞춰 8~64에서 고른다. 다만 너무 잘게 쪼개면 통신·안정성 비용이 붙는다 — SKT A.X K1은 최적 구간 8~12보다 일부러 낮은 7을 골라 안정성을 확보했다고 밝혔다.
4. 컴퓨트 회계는 활성 파라미터로 하고, 그 사실을 표에 적는다(③편).

여기까지가 "얼마나 크게, 얼마나 성기게"다. 그런데 같은 파라미터 수, 같은 활성비여도 어떤 형상으로 배치하느냐에 따라 추론 레이턴시가 몇 배씩 차이 난다. 다음 편은 스케일링 법칙 바깥에 있다고 여겨졌던 변수 — 형상을 다룬다.

— 친칠라 법칙 시리즈 ⑧ / 다음 글: 형상도 스케일링 변수다 — 깊이·너비·하이브리드 어텐션