sLM 평가 방법론 ⑧ — 파인튜닝된 sLM 평가: 베이스라인 사다리, 망각, 그리고 CheckList

파인튜닝한 sLM의 성능 주장이 심사를 통과하려면 여섯 개의 표가 필요하다: 베이스라인 사다리, 중복 제거 명세, 망각 델타, 러닝커브, 프롬프트 민감도, 강건성 실패율. 각각 스크립트 하나 분량이다.

베이스라인 사다리 — 허수아비와 비교하지 마라

리뷰어가 기대하는 사다리: 다수 클래스 → TF-IDF+로지스틱/SVM → fastText → KLUE-BERT/RoBERTa-base → 제로/퓨샷 LLM API → 제안 모델. fastText는 CPU에서 몇 분 만에 돌고, 제안 모델이 이걸 1~2점 차로만 이긴다면 그 격차가 논문이 설명해야 할 전부다. 한국어 분류인데 다국어 BERT만 비교하면 부주의로 보인다 — KLUE 공개 베이스라인이 표준. 근거 문헌: Bucher & Martini (2024) — 파인튜닝 소형 모델이 제로샷 GPT-4·Claude를 분류 전 태스크에서 일관되게 이겼다. LLM 베이스라인을 넣을 땐 FormatSpread를 기억하라: 프롬프트 형식만으로 최대 76점 스윙 — 템플릿 3~5개의 mean±range로 보고해야 "운 나쁜 프롬프트" 반박을 차단한다.

데이터 위생 — 가장 뼈아픈 질문의 선제 차단

Lee et al. (ACL 2022): 표준 데이터셋 검증 예제의 4%+가 train-test 중복으로 오염돼 정확도를 부풀린다. 서비스 로그 기반 인텐트 데이터는 유사 질의가 반드시 스플릿을 가로지른다 — 분할 전에 exact + near-dup(MinHash/임베딩) 중복 제거, 제거 쌍 수를 보고. 그리고 스플릿은 발화 단위가 아니라 사용자/세션 단위로(같은 사람의 패러프레이즈가 양쪽에 들어가는 것도 누수다 — ⑪편 REFORMS).

망각 측정 — LoRA 논쟁의 평가 의무

LoRA Learns Less and Forgets Less(TMLR 2024): LoRA는 타깃 태스크를 덜 배우는 대신 기반 능력을 덜 잊는다 — 풀 파인튜닝과 구조적으로 다른 학습 체제다(후속 연구는 "intruder dimensions"까지 규명). 평가 의무가 따라온다: 타깃 태스크 성능과 일반 능력 보존을 나란히 보고. 방법은 간단하다 — 파인튜닝 전후로 KoBEST·KLUE 서브셋을 돌려 델타 표 한 장(1~7B에서 망각이 실재하고 커질수록 심해진다는 실증이 인용 근거). LoRA면 rank·alpha·학습률 명시 — LoRA는 학습률에 훨씬 민감하다.

고부가가치 그림 두 장

• 러닝커브 — 학습 데이터 10/25/50/100%에서 각 3+ 시드로 학습해 성능 vs 데이터량 곡선(How Many Data Points is a Prompt Worth?가 방법론 모범). 심사 질문 셋을 한 번에 답한다: 라벨링 더 할 가치가 있나, 어디서 포화하나, 새 인텐트에 데이터가 얼마나 필요한가.
• CheckList 강건성 표 — Ribeiro et al. (ACL 2020 Best Paper): 상용 API들이 held-out 정확도 SOTA인데 부정(negation) 테스트 실패율 ~100%였다. 한국어판을 작게 만들라: 오타·띄어쓰기 교란 불변성, 패러프레이즈 불변성, 부정 방향성("환불 말고") — 능력별 실패율을 정확도 옆에 보고. 오류 분석은 Errudite의 원칙대로: 오류 50개 눈대중이 아니라 전체 오류 집합에 정의된 범주로, 혼동 최다 인텐트 쌍을 해부하고 반사실 편집으로 가설 검증.

한 줄 요약: 사다리 전체와 비교하고, 분할 전에 중복을 제거하고, 배운 것과 잊은 것을 같이 재고, 곡선과 실패율로 보여줘라 — 표 여섯 장이 곧 "엄밀하다"는 평가다.

— sLM 평가 방법론 시리즈 ⑧ / 다음 글: 자체 데이터셋의 라벨 품질 — "라벨이 맞다는 걸 어떻게 아세요?"