sLM 벤치마크 선택의 제1원칙: 내 모델 체급에서 점수가 무작위 바닥보다 충분히 위, 천장보다 충분히 아래에 있는 벤치마크만 골라라. 4지선다에서 26%는 아무것도 재지 않은 것이다.
단일 리더보드의 시대는 끝났다
HF Open LLM Leaderboard v2는 모든 점수를 무작위 기준선=0, 만점=100으로 정규화했다 — 이 관행은 그대로 가져가되, v2의 6종(MMLU-Pro, GPQA, MuSR, MATH-Lv5...)을 0.5~3B 모델에 쓰면 안 된다: 그 체급에서 바닥에 깔린다. 리더보드 자체도 2025년 3월 은퇴 — "리더보드 숫자 하나"는 2026년에 통용되는 평가가 아니라는 근거로 인용하라.
0.5~3B에서 실제로 변별하는 것들
- 영어 4종 세트 — HellaSwag·ARC·PIQA·WinoGrande. 프런티어에겐 포화(95%+)지만 ~100M부터 매끄럽게 스케일하는 소형 모델의 주력기: 1.7B 모델이 HellaSwag ≈69, PIQA ≈78 수준(SmolLM2 보고). "왜 이 벤치마크인가"는 SmolLM2·Qwen·Llama 모델 카드가 거의 동일 스위트를 쓴다는 것으로 방어 — 산업 표준 관행 인용.
- 지시 이행 — IFEval이 소형 instruct 모델에서 유일하게 넓게 퍼지는 생성 벤치마크(0.5~2B가 25~60, 프런티어 80+). "라벨만 출력하라"를 지키는 능력 = 의도 분류 서비스가 실제로 필요한 능력.
- 반복 실험용 — tinyBenchmarks(ICML 2024): IRT로 고른 100문항이 전체 MMLU 점수를 ±2점 내로 추정. 어블레이션 루프에는 tiny, 최종 표에는 풀셋 — 2단 프로토콜로 인용 방어. 단 무작위 바닥 근처에선 tiny 추정의 신뢰구간이 넓어지니 주의.
하네스 설정이 점수를 바꾼다
Lessons from the Trenches(EleutherAI): loglikelihood vs 생성형 채점, acc vs acc_norm(바이트 정규화 — HellaSwag/ARC의 표준), few-shot 수, 프롬프트 포맷이 소형 모델 점수를 수 점씩 움직인다. 특히 소형 모델은 지식보다 답 형식 준수가 먼저 무너지므로 지식 태스크는 loglikelihood 객관식으로 — 그리고 그 선택을 방법론에 명시하라. lm-evaluation-harness의 커밋 해시·태스크 버전·shot 수·acc/acc_norm까지 고정 기재(kmmlu·kobest·haerae 태스크 내장).
한국어 스위트와 바닥 함정
- KMMLU는 소형 모델에게 바닥 함정 — sub-3B 대부분이 25~45%로 무작위(25%) 근처. 원본의 라벨 오류를 정리한 KMMLU-Redux(2025, LG)를 쓰거나 최소한 인용해야 방어된다.
- 실제로 변별하는 한국어 세트 — KoBEST(언어학자 설계 5태스크)가 한국어판 4종 세트다. 살아있는 예시: KT Mi:dm 2.0 Mini(2.3B)가 KoBEST 80.5 vs KMMLU 45.1 — 같은 모델인데 벤치마크 체급이 안 맞으면 저래 보인다. 여기에 HAE-RAE(영어 전이가 안 통하는 한국 지식 — 한국어 사전학습 sLM이 큰 다국어 모델을 이기는 걸 보여주는 벤치마크)와 Ko-IFEval.
- 2026년 보고 관행 — 한국어 sLM 모델 카드들(Mi:dm, A.X Light, Kanana, EXAONE, HyperCLOVA X SEED)이 KMMLU(-Redux)+HAE-RAE+KoBEST+Ko-IFEval 표를 공개한다. 논문의 비교표도 이 관행을 따르는 것이 안전하다.
오염 경고 하나: GSM1k에서 가장 과적합된 패밀리가 필터링·합성 데이터로 학습한 소형 모델들이었다(①편). 공개 데이터로 파인튜닝하면 테스트셋과의 n-gram 중첩 검사를 돌리고 보고하라.
한 줄 요약: 점수 옆에 무작위 기준선을 병기하고, 벤치마크는 체급에 맞게, 하네스 설정은 커밋 해시까지 고정 — 이 셋이면 벤치마크 절의 심사 질문 대부분이 선제 차단된다.
— sLM 평가 방법론 시리즈 ⑤ / 다음 글: 효율성 평가 — 파레토 점을 보고하라
댓글 없음:
댓글 쓰기
국정원의 댓글 공작을 지탄합니다.