sLM 평가 방법론 ③ — 의도 분류 평가: OOS 탐지, 벤치마크, 그리고 sLM vs GPT-4

사용자 의도 분류를 평가하는 2026년의 표준은 "3종 세트"다: (1) in-scope 정확도, (2) OOS(범위 밖 질의) 강건성 — 별도 보고, (3) few-shot 데이터 효율 — 다중 시드. 하나씩.

표준 벤치마크의 족보

• CLINC150 (EMNLP 2019) — 150개 인텐트 + 어디에도 속하지 않는 OOS 질의 1,200개. 핵심 발견: in-scope 정확도가 높은 분류기도 OOS 식별에는 일관되게 실패한다. 전체 accuracy 하나만 보고하면 OOS 실패가 은폐된다 — in-scope accuracy와 OOS recall을 분리 보고하는 관행이 여기서 시작됐다.
• BANKING77 — 은행 단일 도메인의 세밀한 77개 인텐트. 의미가 겹치는 라벨 구조가 실서비스 인텐트 체계와 가장 닮았다. 단, 라벨 오류 연구가 훈련 발화의 ~14%가 오라벨/중복 라벨일 수 있음을 밝혔다(제거 시 F1 +4.5%p) — 벤치마크 1~2%p 차이로 우열을 논하기 전에 라벨부터 의심하라(⑨편).
• MASSIVE (Amazon) — 51개 언어 병렬 NLU, 한국어(ko-KR) 16,500 발화 포함. 자체 서비스 데이터로만 평가하면 재현성 공격을 받으니, 공개 데이터에서의 외적 타당도 확보용으로 사실상 유일한 정답. 한국어 화행 수준은 3i4K(서울대, 억양 의존 발화를 별도 클래스로), 도메인 교차 검증은 AI Hub 고객 상담 데이터.
• 레거시 — ATIS/SNIPS는 97~99%로 포화. 다중 의도(MixATIS)는 exact-match 기준 별도 지표가 필요하고, 실사용 발화의 복합 의도 비율을 실측 보고하는 것이 방어에 유리하다.

OOS/OOD 지표 — 임계값 의존성까지 방어하기

표준 지표: OOS recall/precision, F1-open, AUROC, FPR@95TPR. 스플릿 방식(known-class 비율, OOS 훈련 노출 여부)에 따라 결과가 크게 달라지므로 TEXTOIR(칭화대)의 표준 설정을 따르면 재현성 시비를 차단할 수 있다. accuracy와 별도로 임계값 무관 지표(AUROC)를 병기하면 "임계값을 어떻게 잡았나" 공격까지 방어된다.

sLM vs GPT-4 — 숫자로 정리된 논쟁

"그냥 GPT-4 쓰면 되지 않나?"라는 심사 단골 질문의 정량 답변이 나와 있다. Loukas et al. (2023), Banking77 기준: GPT-4 3-shot 83.1 micro-F1(테스트 3천 건에 ~$740) vs SetFit 10-shot 88.1 / 20-shot 91.2 / 풀데이터 94.1(추론 비용 사실상 0). 결론: 클래스당 라벨 20개만 있으면 파인튜닝 sLM이 정확도·비용·지연 모두 우세하고, LLM은 라벨 1~5개의 콜드스타트에서만 우위다. few-shot 프로토콜은 DNNC가 확립한 5/10-shot 다중 시드 방식을 따르라 — 단일 스플릿 few-shot 결과는 심사에서 공격받는다. 최신 산업 비교(Amazon, EMNLP 2024)는 평가 축이 정확도 단일에서 정확도-지연-OOS 강건성 3축으로 이동했음을 보여준다.

한 줄 요약: 전체 accuracy 하나는 의도 분류 평가가 아니다 — in-scope/OOS 분리, 임계값 무관 지표, few-shot 다중 시드, 그리고 공개 벤치마크 병행 보고까지가 한 세트다.

— sLM 평가 방법론 시리즈 ③ / 다음 글: 통계적 유의성 — 0.8%p 차이는 시드 운일 수 있다