All about SFT ② — SFT는 왜 통하고 어디까지 통하는가

SFT는 왜 통하는가? 그리고 어디서부터 안 통하는가? 이 질문의 답이 파인튜닝 프로젝트의 성패를 가른다. 결론부터: SFT는 행동과 형식을 가르치는 데는 탁월하지만, 지식을 넣는 데는 위험하다. 그 근거들이다.

왜 통하는가 — 표면 정렬 가설

• LIMA (2023, Meta) — 엄선한 단 1,000개의 예시로 LLaMA-65B를 SFT했더니 GPT-4와 43% 선호 동등/우위. 제안된 설명이 유명한 표면 정렬 가설: 지식과 능력은 거의 전부 사전학습에서 오고, 정렬(SFT)은 어떤 형식·스타일로 답할지를 가르칠 뿐이다.
• URIAL (2023, AI2) — 가장 강한 직접 증거. base 모델과 정렬된 모델의 토큰 분포를 비교하면 대부분의 위치에서 거의 같고, 차이는 스타일 토큰(담화 표지, 안전 문구)에 집중된다. 심지어 고정된 예시 3개의 인컨텍스트 프롬프트만으로 SFT된 모델을 따라잡기도 한다. 파인튜닝 전에 먼저 시험해 볼 베이스라인.
• Revisiting SAH (2024, Scale AI) — 균형추. 수학·코딩·다단계 추론 성능은 파인튜닝 데이터 수의 멱법칙을 따르며, 몇백 개로는 스타일만 정렬될 뿐 능력은 포화되지 않는다. "less is more"는 스타일에는 참, 스킬에는 과장.

어디서 안 통하는가 — 지식, 망각, 안전

• Gekhman et al. (2024, EMNLP) — 모델이 모르는 사실로 SFT하면: 배우는 속도는 느리고, 마침내 배우고 나면 원래 잘 답하던 질문에서까지 환각이 선형으로 증가한다. SFT로 새 지식을 넣는 것은 환각을 가르치는 것과 같다.
• Fine-Tuning or Retrieval? (2023, Microsoft) — 지식 주입 정면 대결: RAG가 일관되게 승리, 심지어 RAG 단독이 RAG+파인튜닝보다 나았다. 사실·지식 태스크의 기본값은 RAG다.
• Limitations of Instruction Tuning (2024, ICML) — 기제 분석: LoRA는 주로 응답 시작·스타일 토큰을 배우고, full FT는 유사 훈련 사례에서 토큰을 빌려와 지식을 오염시킨다. False Promise (2023, Berkeley)는 ChatGPT 모방 SFT가 스타일만 배우고 능력 격차는 못 좁힌다는 것을 보였다 — 선호 투표 말고 능력 벤치마크로 평가하라.
• Catastrophic Forgetting (2023) — SFT의 이득은 공짜가 아니다: 연속 파인튜닝에서 일반 능력(지식·추론·독해)이 퇴행하며, 1B-7B 범위에서는 모델이 클수록 오히려 심했다. 처방은 일반 instruction 데이터 replay 혼합. Alignment Tax (2023)는 가장 싼 완화책도 알려준다: 학습 전/후 가중치의 보간(모델 평균)이 놀랍게 효과적이다.
• Qi et al. (2023, ICLR oral) — 무서운 결과: 적대적 예시 단 10개, $0.20의 파인튜닝으로 GPT-3.5의 안전장치가 무너지고, 심지어 Alpaca 같은 무해한 데이터로 파인튜닝해도 안전 정렬이 측정 가능하게 약화된다. 파인튜닝 후에는 반드시 안전 평가를 다시 돌리고, 안전 데이터를 믹스에 섞어라.
• SFT Memorizes, RL Generalizes (2025) — 현대적 결론. 통제 환경 실험에서 SFT는 훈련 분포를 암기하고 분포 밖 변형에서 무너지는 반면, 결과 보상 RL은 일반화한다. 단, SFT는 여전히 필요하다 — 출력 형식을 안정화해 RL이 학습 가능하게 만드는 준비 단계로.

정리 — 의사결정 프레임

형식·스타일·행동을 가르치려면 → 소량 고품질 SFT. 사실·지식을 다루려면 → RAG. 분포 밖 일반화가 필요하면 → RL(다음다음 글). 그리고 무엇을 하든 학습 전후로 일반 능력과 안전을 측정하라 — 둘 다 조용히 무너진다. 다음 글은 SFT의 재료, instruction 데이터셋의 계보다.

— All about SFT 시리즈 ② / 다음 글: Instruction 데이터셋의 계보