sLM 평가 방법론 ② — 분류 지표의 기본기: F1의 두 얼굴, MCC, 캘리브레이션

심사위원이 가장 먼저 확인하는 장이 지표 선택이다. 2026년의 결론부터: 단일 대표 숫자의 시대는 끝났다. 혼동행렬 + 유병률 가중 지표 하나 + 클래스 균형 지표 하나 + 우연 보정 지표 하나 — 그리고 각각을 왜 골랐는지 한 문장씩.

함정 1: 불균형 데이터에서 accuracy와 F1은 거짓말한다

Chicco & Jurman (2020)의 유명한 반례: 91:9 불균형 데이터에서 음성을 하나도 못 맞히는 분류기가 accuracy 0.90, F1 0.95를 받는다. 같은 예측의 MCC는 -0.03 — 무작위 이하임을 정확히 드러낸다. MCC는 혼동행렬 4칸이 모두 좋아야만 높아지고, 양성/음성 클래스를 바꿔도 값이 같다(F1은 아니다). 불균형 의도 분류 논문에서 F1 옆에 MCC를 병기하는 표준 근거. 참고로 Cohen's kappa는 분류기 평가용으로는 피하라 — 더 나쁜 분류기가 더 높은 kappa를 받는 반례가 있고(Delgado & Tibau 2019), kappa의 제자리는 어노테이터 일치도다(⑨편).

함정 2: "macro F1"이라는 이름의 공식이 두 개다

Opitz & Burst (2019): (a) 클래스별 F1의 산술평균(scikit-learn 기본)과 (b) macro-정밀도·macro-재현율의 조화평균 — 두 공식이 같은 이름으로 유통되며, 같은 예측에서 최대 0.5 차이가 나고 순위가 뒤집힐 수도 있다. 논문에는 한 줄로 못박아라: "macro F1 = 클래스별 F1의 산술평균, scikit-learn vX.Y로 계산." 덤: 단일 라벨 다중분류에서 micro F1 = accuracy이므로 둘을 따로 보고하면 심사위원은 물타기로 본다. 지표별 성질의 정식 분석은 Opitz (TACL 2024) — "지표 선택이 습관이지 논증이 아니다"라는 진단 자체가 인용 가치다.

함정 3: "불균형이니까 AUPRC"도 이제 안 통한다

고전(Saito & Rehmsmeier 2015)은 PR 곡선이 불균형을 드러낸다고 했지만, McDermott et al. (NeurIPS 2024 spotlight)이 반격했다: AUPRC 우월론은 대부분 무인용·과일반화이며, AUPRC 최적화는 유병률 높은 하위집단을 편애해 공정성을 해칠 수 있다. 2026년의 안전한 논문 포지션: 둘 다 보고하고, 배포 질문(순위 품질 vs 운영 임계값 성능)으로 선택을 정당화하고, 이 논문으로 뉘앙스를 인용.

캘리브레이션 — 신뢰도가 뭔가를 결정한다면 필수

분류기의 확신도로 폴백("사람 상담원 연결")이나 LLM 에스컬레이션을 결정한다면: Guo et al. (2017)의 ECE + reliability diagram + temperature scaling(검증셋에서 파라미터 1개, argmax 불변이라 정확도 손해 없음)이 표준 3종. 파인튜닝 인코더에의 적용은 Desai & Durrett (EMNLP 2020) — BERT류는 in-domain에선 temperature scaling으로 잡히고, out-of-domain(= 출시 후 실사용자 질의)에선 label smoothing이 보완한다.

한국어 선례

KLUE는 분류 태스크(YNAT)를 macro F1으로 채점한다 — "한국어 대표 벤치마크의 선례"는 심사장에서 가장 짧고 강한 정당화다.

한 줄 요약: 혼동행렬 전체 + 클래스별 P/R/F1 표 + macro F1(공식 명시) + MCC + (신뢰도 쓰면) ECE — 그리고 지표마다 "왜"를 한 문장씩.

— sLM 평가 방법론 시리즈 ② / 다음 글: 의도 분류 평가 — OOS 탐지와 벤치마크 프로토콜