All about SFT ③ — Instruction 데이터셋의 계보

SFT의 성패는 데이터가 좌우한다. 그렇다면 그 데이터는 어디서 오는가? instruction 데이터셋의 역사는 다섯 시대로 깔끔하게 읽힌다: 학술 태스크 → 합성 증류 → 인간·커뮤니티 → 대규모 합성 멀티턴 → 능력별 큐레이션 믹스. 시대순으로 따라가 보자.

다섯 시대

• FLAN Collection (2023, Google) — 학술 태스크 시대의 집대성. 1,800개+ NLP 태스크를 지시문화한 컬렉션으로, 태스크 밸런싱·입출력 반전·zero/few-shot/CoT 혼합이 성능을 3-17% 올린다는 ablation을 남겼다. 템플릿 다양성이 데이터 개수만큼 중요하다는 교훈의 원천.
• Alpaca (2023, Stanford) — 합성 증류 시대의 개막. Self-Instruct로 GPT-3.5에서 5.2만 쌍을 증류해 LLaMA-7B를 약 $600에 파인튜닝. 수백 개 파생 프로젝트의 원형이지만, 라이선스 반면교사이기도 하다: CC BY-NC + OpenAI 약관(경쟁 모델 학습 금지) 때문에 상업적 이용 불가.
• Dolly-15k (2023, Databricks) — 직원 5천 명이 직접 쓴 15,011쌍, 최초의 상업적 이용 가능한 인간 작성 데이터셋(CC BY-SA). 현대판 후속은 전문 어노테이터가 쓴 No Robots (10k). OASST1 (2023)은 1.3만 명의 자원봉사자가 만든 35개 언어(한국어 포함) 대화 트리 16만 메시지 — 커뮤니티 크라우드소싱의 대표이자 멀티턴 데이터 설계의 교과서다(Apache-2.0).
• UltraChat (2023, Tsinghua) — 두 ChatGPT를 사용자/비서 역할로 맞붙여 150만 멀티턴 대화를 합성. 흥미로운 후일담: HuggingFace가 품질 필터링한 20만 건 파생본(ultrachat_200k)이 원본 150만보다 좋은 모델(Zephyr)을 만들었다 — 양→질 전환의 상징적 사례. 커뮤니티 큐레이션 믹스의 대표는 OpenHermes-2.5 (~100만).
• Tülu 3 (2024, AI2) — 현재의 표준: 능력별(수학·코딩·정밀 지시이행·안전) 서브 믹스를 따로 만들어 검증한 뒤 합친 94만 건 믹스(ODC-BY, 상업 가능). 벤치마크 오염 제거를 파이프라인에 명시적으로 포함한 것도 모범.

데이터를 고르는 법

• AlpaGasus (2023) — ChatGPT를 심사관 삼아 Alpaca 52k에서 9k만 걸러 학습 → 원본을 능가 + 학습 5.7배 단축. "LLM-as-a-filter"의 원형이자 지금도 가장 널리 쓰이는 1차 필터.
• Deita (2023, ICLR) — 좋은 데이터의 3축 분해: 복잡도·품질·다양성. 자동 선별한 6k만으로 Zephyr급 성능. 공개 스코어러를 자기 데이터에 바로 적용할 수 있다.
• Data Provenance Initiative (2023, Nature MI) — 1,858개 데이터셋의 라이선스 전수 감사: HuggingFace의 라이선스 표기 중 상당수가 원 출처와 불일치. HF 라이선스 태그를 그대로 믿지 말고 계보를 추적하라. 탐색 도구: dataprovenance.org.

정리

한 줄 교훈: "데이터는 세는 것이 아니라 고르는 것이다 — 잘 고른 수천 개가 무작위 5만 개를 이긴다." 실무 체크리스트 셋: ① 라이선스 계보 확인(Alpaca류 상업 불가 / Dolly·OASST1·ultrachat_200k·tulu-3-mixture 상업 가능), ② 벤치마크 오염 제거, ③ LLM 필터를 1차 관문으로. 한국어 데이터 카탈로그는 open-korean-instructions에서 — 단, 번역 기반 데이터는 원본의 스타일과 오염을 상속한다는 점을 기억하라. 다음 글: 아예 데이터를 만들어내는 법, 합성 데이터와 증류.

— All about SFT 시리즈 ③ / 다음 글: 합성 데이터와 증류