All about SFT ⑦ — SFT 다음 단계: 선호 최적화 (RLHF → DPO → GRPO)

SFT를 마친 모델은 지시를 따르지만, "더 나은 답"과 "덜 나은 답"의 차이는 아직 모른다. 그걸 가르치는 것이 선호 최적화(preference tuning)다. 2022년의 복잡한 RLHF에서 출발해 2023년의 DPO 단순화를 거쳐, 2025년의 추론 RL(GRPO)까지 — 이 분야의 계보와 현재의 합의 레시피를 정리한다.

계보

• RLHF/PPO (2022, InstructGPT) — 원형: SFT → 보상 모델 학습 → PPO 강화학습(+SFT 모델로의 KL 페널티). 강력하지만 고통스럽다: 메모리에 모델 4개, PPO 불안정성, 보상 해킹. 이후의 모든 방법은 이 고통에 대한 반응이다.
• DPO (2023, Stanford — NeurIPS 최우수논문) — 전환점. KL 제약 RLHF 목적함수에 닫힌 해가 있음을 보이고, 보상 모델과 PPO를 통째로 생략한 채 (선호 응답, 비선호 응답) 쌍의 분류 loss로 환원했다. Zephyr·Tülu·Llama 3가 모두 채택한 오픈소스 선호 학습의 주력. 알아둘 것: SFT 체크포인트를 참조 모델로 쓰며, 응답 길이를 부풀리는 경향이 있다.
• 변형 가족 — IPO: DPO의 과적합(시그모이드 포화) 수정. KTO: 쌍이 아니라 개별 응답의 좋아요/싫어요 라벨만으로 학습 — 서비스 로그가 있는 회사에 실용적. ORPO (KAIST): SFT와 선호 정렬을 한 단계로 합쳐 참조 모델 제거 — 소규모 팀의 효율 옵션. SimPO: 길이 정규화 + 참조 모델 제거로 DPO의 장황함 편향을 수정. 전부 TRL의 loss_type/Trainer 플래그로 실험 가능하다.
• GRPO (DeepSeekMath → R1, 2024-25) — 2025년의 축 이동. PPO에서 크리틱을 제거하고 프롬프트당 G개 응답 그룹의 정규화 보상을 baseline으로 쓰는 알고리즘. 검증 가능한 보상(정답 체크, 형식 체크)과 결합해 수학·코드·추론 능력을 끌어올리는 RLVR의 커뮤니티 표준이 됐다. 구분법: 스타일·유용성 정렬은 DPO 계열, 추론 능력 향상은 GRPO+검증 보상.

실증 — 선호 학습은 얼마나 보태나

• Zephyr (2023) — SFT만: MT-Bench 6.4 → DPO 후: 7.34. 인간 주석 없이(GPT-4가 채점한 UltraFeedback) 몇 GPU시간으로 Llama-2-70B-Chat을 넘었다. 대부분의 첫 DPO 런이 여전히 이 템플릿을 따른다.
• Unpacking DPO and PPO (2024, NeurIPS) — 요인 분해 실험의 결론: 알고리즘 선택보다 선호 데이터 품질이 훨씬 중요하다(최대 +8% vs PPO 우위 +1~2.5%). 예산은 더 좋은 쌍(on-policy 생성, 강한 심판)에 먼저 써라.
• Online vs Offline (2024, DeepMind) — 같은 KL 예산에서 온라인(현재 정책에서 샘플링)이 오프라인(고정 데이터셋 DPO)을 일관되게 이긴다. 실무 절충이 iterative DPO: 내 모델로 응답 생성 → 심판/보상 모델로 라벨 → DPO → 반복. 남의 오프폴리시 쌍으로 학습하는 것보다 한 라운드의 on-policy 데이터가 낫다.
• Tülu 3 (2024) — 현재의 합의 레시피 그 자체: SFT → (부분 on-policy) DPO → RLVR. ablation에서 잘 튜닝된 DPO ≈ PPO 품질이라 DPO로 표준화했고, 모든 데이터·하이퍼파라미터(DPO lr 5e-7 등)가 공개돼 있다. Llama 3, OLMo 2, Qwen이 같은 모양이다.

정리

한 줄 교훈: SFT 후에는 고품질(가급적 on-policy) 선호 쌍으로 DPO부터 — 데이터 품질이 알고리즘 선택을 이긴다. GRPO+검증 보상은 스타일이 아니라 수학·코드·추론 능력을 밀 때 꺼내는 카드다. 구현은 전부 TRL(DPOTrainer 30줄, GRPOTrainer는 보상 함수 콜백 하나). 다음 글: 이 모든 것을 돌리는 도구와, 결과를 믿을 수 있게 재는 평가 — 그리고 한국어 생태계.

— All about SFT 시리즈 ⑦ / 다음 글: 도구, 평가, 그리고 한국어 생태계