sLM 평가 방법론 ① — 작은 모델의 지형, 그리고 평가가 달라야 하는 이유

새 시리즈다. 이전 시리즈(LLM 평가 방법론 11편)가 프런티어 모델의 리더보드를 읽는 법이었다면, 이번엔 sLM(소형 언어모델)을 학술 논문 수준의 엄밀함으로 평가하는 법이다 — 지표 선택부터 통계 검정, 데이터 품질, 그리고 심사위원 앞에서 방어 가능한 보고까지 11편.

sLM이란 무엇인가

측정 기반 서베이의 표준 정의는 "100M~5B 파라미터의 디코더-온리 트랜스포머"(SLM Survey & Measurements — 공개 sLM 70종의 정확도·지연·메모리를 직접 측정한 유일한 서베이). 실무 티어는 셋이다: sub-1B(온디바이스, MobileLLM·HyperCLOVA X SEED 0.5B), 1~4B(Qwen3 0.6/1.7/4B, Gemma 3 1B/4B, SmolLM3, Kanana Nano 2.1B, EXAONE), 7~14B(경계 지대). 그리고 분류가 목적이라면 잊지 말 것: 인코더도 sLM이다 — ModernBERT(149M/395M)는 구형 BERT 대비 정확도·속도의 파레토 개선을 보였고, "생성형 말고 파인튜닝 인코더로 충분하지 않은가?"는 심사위원의 단골 질문이다.

"작아도 강하다"의 근거와 그 그림자

근거: phi-1의 "Textbooks Are All You Need" — 1.3B 모델이 교과서 품질 데이터 7B 토큰만으로 HumanEval 50.6%. 데이터 품질이 파라미터를 대체한다는 논지의 원점이고, 세대마다 곡선이 이동한다(Gemma 3 4B ≈ 한 세대 전 27B, 벤더 주장으로는 Qwen3-4B ≈ Qwen2.5-72B급).

그림자: GSM1k가 같은 난이도의 신규 문제로 재평가하자 Phi·Mistral 계열이 거의 전 사이즈에서 체계적 과적합(최대 8%p 하락)을 보였다. 필터링·합성 데이터로 학습한 sLM은 벤치마크와 닮은 데이터를 먹었을 가능성이 구조적으로 높다 — 공개 벤치마크 점수로 sLM을 고르면 안 되고, 벤더의 "N배 큰 모델급" 주장은 독립 검증 없이 논문에 못 쓴다. 두 논문을 반드시 세트로 인용해야 균형 잡힌 문헌 이해로 방어된다.

프런티어 평가법이 sLM에 안 맞는 이유

• 아레나 — 트래픽·데이터 비대칭·게이밍(Leaderboard Illusion)은 차치하고, sLM은 아레나에 올라갈 트래픽 자체가 없다.
• 초고난도 벤치마크 — HLE류에서 sLM은 전부 0점 바닥에 깔려 변별력이 없다. sLM은 자기 태스크의 난이도 대역에서 변별력 있는 평가를 설계해야 한다(⑤편).
• 대신 서는 축 — capability-per-parameter, 지연·메모리·에너지(⑥편), 그리고 태스크 특화 정확도. 평가의 단위가 "점수"에서 "점수/자원"의 파레토 점으로 바뀐다.

한국어 네이티브 sLM — 논문의 비교군

한국어 서비스 논문이라면 다국어 sLM만으론 부족하다: Kanana(Kakao, 2.1B), HyperCLOVA X SEED(0.5/1.5/3B — 1.5B가 동급 Qwen2.5·Gemma3를 한국어에서 능가), EXAONE(1.2/2.4B), Mi:dm 2.0 Mini(2.3B), A.X 4.0 Light. 모델 카드에 KMMLU·HAE-RAE·KoBEST 수치가 공개돼 있어 인용·재현 검증이 쉽다.

한 줄 요약: sLM 평가는 "더 어려운 시험"이 아니라 "내 태스크·내 자원 대역에서 변별력 있는 시험"을 설계하는 문제다. 다음 글: 그 시험의 채점 기준 — 분류 지표의 기본기.

— sLM 평가 방법론 시리즈 ① / 다음 글: 분류 지표의 기본기 (F1의 두 얼굴, MCC, 캘리브레이션)