All about SFT ⑥ — 학습 레시피의 디테일: 템플릿, 마스킹, 패킹

SFT 사고의 대부분은 하이퍼파라미터가 아니라 템플릿-마스킹-EOS 처리의 불일치에서 난다. 학습이 "돌아가는 것"과 "제대로 되는 것"의 차이를 만드는 디테일들 — 이번 글은 그 실무 매뉴얼이다.

세 가지 핵심 메커니즘

• Chat Template (HF 문서) — 대화(messages 리스트)를 모델별 학습 포맷 문자열로 바꾸는 Jinja 템플릿. ChatML의 <|im_start|>, Llama 포맷 등 모델마다 다르다. SFT 실패의 최다 원인이 학습 템플릿과 추론 템플릿의 불일치 — 반드시 같은 apply_chat_template으로 통일하고, 추론 시 add_generation_prompt를 빼먹으면 모델이 답변을 시작하지 못하는 전형적 버그가 난다.
• Loss Masking — 지시문 토큰에도 loss를 걸 것인가? NeurIPS 2024 연구의 답: 일반적 대규모 SFT는 completion-only가 안전한 기본값이지만, "긴 프롬프트 + 짧은 응답" 데이터나 소량 데이터에서는 지시문 loss가 정규화로 작동해 오히려 낫다. 2025년의 후속(WIT)은 프롬프트에 0.1~0.5의 낮은 가중치를 주는 중간 지대가 가장 견고하다고 보고. 개념 정리는 Raschka의 해설이 최고다: "마스킹은 스위치가 아니라 내 데이터가 어떤 분포를 배워야 하는가에 대한 답."
• Packing (Packing Analysis, ACL 2025) — 짧은 샘플들을 한 시퀀스로 이어붙여 패딩 낭비를 없애는 기법. 체계 비교 결론: 학습 시간을 크게 줄이면서 성능도 대체로 더 좋고, 모델·데이터가 클수록 유리. 수만 건 이상이면 packing=True가 기본값.

검증된 하이퍼파라미터 출발점

• Tülu 3 (2024) — full SFT 기준: 8B는 LR 5e-6, 70B는 2e-6, 2 epoch, 유효 배치 128, 시퀀스 4096. 원칙: 모델이 클수록 LR은 낮게.
• Zephyr (2023, HF) — 7B 표준 레시피의 원형: peak LR 2e-5, cosine, warmup 10%, packing. alignment-handbook의 YAML을 그대로 복사해 시작할 수 있다. 두 레시피를 합치면: full SFT LR은 2e-6~2e-5 범위, 데이터가 클수록 낮게.
• Secret Recipe (2024, IBM) — 3B-7B 소형 모델 대규모 그리드 실험: 큰 배치+낮은 LR 조합의 우위, 단계별 커리큘럼보다 데이터를 섞어 한 번에(stacked), 그리고 초반 몇백 스텝의 추이가 최종 성능의 좋은 예측자다 — 나쁜 run은 조기 중단하라.
• NEFTune (2023) — 임베딩에 노이즈를 더하는 한 줄 정규화로 AlpacaEval 승률 29.8→64.7% 사례. 거의 공짜지만, 효과가 대화체 벤치마크에 집중되고 지식 벤치마크(MMLU)에는 무영향이라는 한계도 알아둘 것.

망각 방지와 도구

퇴행("SFT 후 MMLU가 떨어졌다")의 처방 셋: 일반 instruction 데이터 replay 혼합(근거), LoRA 선택(⑤편의 forgets-less), 낮은 LR. 구현은 TRL SFTTrainer가 표준(completion_only_loss, assistant_only_loss, packing, neftune_noise_alpha 전부 플래그), 멀티턴의 턴별 마스킹·EOS 제어가 필요하면 Axolotl(roles_to_train, train_on_eos)이 더 세밀하다.

정리

한 줄 교훈: 학습 전에 토큰화된 샘플 몇 개를 눈으로 디코딩해서 정확히 어떤 토큰에 loss가 걸리는지 확인하라. 대부분의 SFT 사고는 거기서 예방된다. 다음 글: SFT 다음 단계 — 선호 최적화(RLHF, DPO, GRPO).

— All about SFT 시리즈 ⑥ / 다음 글: SFT 다음 단계, 선호 최적화

All about SFT ③ — Instruction 데이터셋의 계보

SFT의 성패는 데이터가 좌우한다. 그렇다면 그 데이터는 어디서 오는가? instruction 데이터셋의 역사는 다섯 시대로 깔끔하게 읽힌다: 학술 태스크 → 합성 증류 → 인간·커뮤니티 → 대규모 합성 멀티턴 → 능력별 큐레이션 믹스. 시대순으로 따라가 보자.

다섯 시대

• FLAN Collection (2023, Google) — 학술 태스크 시대의 집대성. 1,800개+ NLP 태스크를 지시문화한 컬렉션으로, 태스크 밸런싱·입출력 반전·zero/few-shot/CoT 혼합이 성능을 3-17% 올린다는 ablation을 남겼다. 템플릿 다양성이 데이터 개수만큼 중요하다는 교훈의 원천.
• Alpaca (2023, Stanford) — 합성 증류 시대의 개막. Self-Instruct로 GPT-3.5에서 5.2만 쌍을 증류해 LLaMA-7B를 약 $600에 파인튜닝. 수백 개 파생 프로젝트의 원형이지만, 라이선스 반면교사이기도 하다: CC BY-NC + OpenAI 약관(경쟁 모델 학습 금지) 때문에 상업적 이용 불가.
• Dolly-15k (2023, Databricks) — 직원 5천 명이 직접 쓴 15,011쌍, 최초의 상업적 이용 가능한 인간 작성 데이터셋(CC BY-SA). 현대판 후속은 전문 어노테이터가 쓴 No Robots (10k). OASST1 (2023)은 1.3만 명의 자원봉사자가 만든 35개 언어(한국어 포함) 대화 트리 16만 메시지 — 커뮤니티 크라우드소싱의 대표이자 멀티턴 데이터 설계의 교과서다(Apache-2.0).
• UltraChat (2023, Tsinghua) — 두 ChatGPT를 사용자/비서 역할로 맞붙여 150만 멀티턴 대화를 합성. 흥미로운 후일담: HuggingFace가 품질 필터링한 20만 건 파생본(ultrachat_200k)이 원본 150만보다 좋은 모델(Zephyr)을 만들었다 — 양→질 전환의 상징적 사례. 커뮤니티 큐레이션 믹스의 대표는 OpenHermes-2.5 (~100만).
• Tülu 3 (2024, AI2) — 현재의 표준: 능력별(수학·코딩·정밀 지시이행·안전) 서브 믹스를 따로 만들어 검증한 뒤 합친 94만 건 믹스(ODC-BY, 상업 가능). 벤치마크 오염 제거를 파이프라인에 명시적으로 포함한 것도 모범.

데이터를 고르는 법

• AlpaGasus (2023) — ChatGPT를 심사관 삼아 Alpaca 52k에서 9k만 걸러 학습 → 원본을 능가 + 학습 5.7배 단축. "LLM-as-a-filter"의 원형이자 지금도 가장 널리 쓰이는 1차 필터.
• Deita (2023, ICLR) — 좋은 데이터의 3축 분해: 복잡도·품질·다양성. 자동 선별한 6k만으로 Zephyr급 성능. 공개 스코어러를 자기 데이터에 바로 적용할 수 있다.
• Data Provenance Initiative (2023, Nature MI) — 1,858개 데이터셋의 라이선스 전수 감사: HuggingFace의 라이선스 표기 중 상당수가 원 출처와 불일치. HF 라이선스 태그를 그대로 믿지 말고 계보를 추적하라. 탐색 도구: dataprovenance.org.

정리

한 줄 교훈: "데이터는 세는 것이 아니라 고르는 것이다 — 잘 고른 수천 개가 무작위 5만 개를 이긴다." 실무 체크리스트 셋: ① 라이선스 계보 확인(Alpaca류 상업 불가 / Dolly·OASST1·ultrachat_200k·tulu-3-mixture 상업 가능), ② 벤치마크 오염 제거, ③ LLM 필터를 1차 관문으로. 한국어 데이터 카탈로그는 open-korean-instructions에서 — 단, 번역 기반 데이터는 원본의 스타일과 오염을 상속한다는 점을 기억하라. 다음 글: 아예 데이터를 만들어내는 법, 합성 데이터와 증류.

— All about SFT 시리즈 ③ / 다음 글: 합성 데이터와 증류

All about SFT ① — LLM 학습 파이프라인의 전체 그림

ChatGPT 같은 대화형 AI는 한 번에 만들어지지 않는다. 거대한 텍스트로 다음 단어 맞히기를 배우는 사전학습(pretraining), 지시문→응답 쌍으로 "지시를 따르는 법"을 배우는 SFT(Supervised Fine-Tuning, 지도 미세조정), 그리고 사람의 선호로 다듬는 선호 최적화(RLHF/DPO)의 3단계다. 이 시리즈는 그 가운데 단계, SFT의 전부를 다룬다. 첫 글은 전체 지도부터.

계보 — base 모델에서 chat 모델까지

• GPT-3 (2020) — SFT 이전의 세계. 다음 단어 예측만 배운 175B 모델은 few-shot 프롬프트로 많은 일을 하지만, 지시를 무시하고 무례하거나 무의미한 이어쓰기를 한다. base 모델은 "텍스트 분포 모방기"이지 비서가 아니다 — 이 간극이 SFT가 발명된 이유다.
• FLAN (2021) — "instruction tuning"이라는 말을 만든 논문. 60여 개 NLP 태스크를 자연어 지시문으로 바꿔 파인튜닝했더니 본 적 없는 태스크의 지시도 따르게 됐다. 핵심 교훈: SFT는 지식을 넣는 게 아니라 일반화된 지시 이행을 여는 열쇠다. 동시대의 T0 (BigScience)는 이것이 11B에서도, 완전 공개 데이터로도 재현됨을 보였다.
• InstructGPT (2022, OpenAI) — 현대 파이프라인의 청사진. ① 라벨러가 쓴 1.3만 개 시연으로 SFT → ② 순위 매긴 비교로 보상 모델 학습 → ③ PPO 강화학습. 결과: 1.3B InstructGPT가 175B GPT-3보다 사람들에게 선호됐다. 규모보다 포스트트레이닝이라는 것을 증명한 순간이자 ChatGPT의 직계 조상.
• Constitutional AI (2022, Anthropic) — 사람 라벨 대신 모델이 스스로 원칙("헌법")에 따라 자기 출력을 비평·수정해 SFT 데이터를 만들고, AI 피드백으로 선호를 학습(RLAIF). 오늘날 지배적인 합성 데이터 파이프라인의 초기 원형.
• Llama 2 (2023, Meta) — 포스트트레이닝을 상세 공개한 첫 프런티어급 오픈 모델. 유명한 발견: 수백만 개의 잡음 섞인 서드파티 데이터보다 고품질 시연 27,540개가 더 나았다 — "Quality is all you need." 이 시리즈 전체를 관통하는 규칙이다.
• Llama 3 (2024, Meta) — 현대 레시피: SFT + rejection sampling + DPO를 여러 라운드 반복, PPO는 안정성 때문에 회피. SFT 믹스 270만 건의 대부분이 보상 모델로 걸러낸 합성 데이터. "단순한 방법 + 더 좋은 데이터"라는 실무 철학의 대표.
• DeepSeek-R1 (2025) — 가장 예리한 자연 실험. 순수 RL만으로도 추론 능력은 생기지만(R1-Zero) 출력이 읽을 수 없게 된다 → 그래서 제품판 R1은 SFT를 두 번 넣는다: RL 전의 콜드스타트 SFT와 RL 후의 rejection-sampling SFT(80만 건). RL이 능력을 만들고, SFT가 형식·가독성·통제력을 입힌다.
• Qwen3 (2025) — SFT가 한 파이프라인에 여러 번 등장하는 시대: 콜드스타트 SFT → 추론 RL → 사고모드 융합 SFT → 일반 RL, 그리고 플래그십의 출력으로 소형 모델을 SFT하는 강→약 증류까지. SFT는 이제 "한 단계"가 아니라 "반복 등장하는 도구"다.
• Tülu 3 (2024, AI2) — 데이터·코드·평가까지 전부 공개된 재현 가능한 최신 레시피(SFT→DPO→검증 가능 보상 RL). 직접 따라 할 수 있는 유일급 자료. 함께 볼 것: 무료 온라인 교과서 RLHF Book — 이 모든 논문을 하나의 파이프라인 서사로 엮어 준다.

정리

합의된 그림: 사전학습이 능력과 지식을 만들고, SFT가 행동과 형식을 가르치고, 선호·RL 단계가 시연만으로 지정할 수 없는 것을 다듬는다. 그리고 2024-2026년의 변화는 SFT가 콜드스타트·증류·모드 융합 등으로 여러 번 재등장한다는 것. 다음 글은 이 시리즈에서 가장 중요한 질문 — SFT는 대체 왜 통하며, 어디까지 통하는가 — 를 다룬다.

— All about SFT 시리즈 ① / 다음 글: SFT는 왜 통하고 어디까지 통하는가