sLM 평가 방법론 ⑥ — 효율성 평가: 파레토 점을 보고하라

sLM 논문의 존재 이유가 효율이라면, 효율도 정확도만큼 엄밀하게 재야 한다. 대원칙(The Efficiency Misnomer, ICLR 2022): 파라미터 수·FLOPs·실측 지연은 서로 대체 불가능하고 자주 모순된다 — 하나만 골라 보고하면 잘못된 결론이 나온다. 답은 파레토 점: {F1, p50/p99 지연, 메모리, 에너지, $/1M tokens}를 배포 하드웨어에서 함께 보고.

지연 측정의 어휘 — 리뷰어의 첫 질문

표준 정의(NVIDIA 문서): TTFT(첫 토큰까지 — 큐잉+prefill 포함), TPOT/ITL = (전체 지연 - TTFT) / (출력 토큰 - 1), 종단 지연 = TTFT + 생성. 함정: 워밍업 제외, p50과 p99 병기, 동시성 수준 명시 — "tokens/sec에 TTFT가 포함됐나요?"가 지연 수치에 대한 가장 흔한 심사 지적이다. 로컬 측정은 llama-bench가 무료 방법론: pp(prefill)/tg(decode)를 분리하고 5회 반복 mean±std를 기본 출력한다. 모바일이면 MELT(MobiCom 2024)의 경고를 인용 — 온디바이스 추론은 메모리 대역폭 바운드이고, 지속 생성은 발열 스로틀링으로 버스트 tokens/sec가 크게 과대평가된다. 감사된 표준 절차가 필요하면 MLPerf(Edge/Client)의 시나리오 분류를 차용.

양자화 평가 — PPL 델타는 답이 아니다

4비트 배포는 GPTQ→AWQ→GGUF K-quants의 품질 사다리에서 고르되, 평가가 핵심이다. Accuracy is Not All You Need(NeurIPS 2024): 집계 정확도·perplexity가 거의 안 변한 압축 모델도 개별 답이 대량으로 뒤집힌다(맞→틀, 틀→맞이 평균에서 상쇄). 처방: FP16 베이스라인 대비 flip rate(예제 단위 예측 변경 비율)와 다운스트림 F1 델타를 보고 — 의도 분류에서 flip rate는 사용자가 실제로 체감하는 지표다. AWQ 선택의 부가 근거: 캘리브레이션 도메인 밖(한국어!) 일반화가 더 좋다.

에너지와 비용 — 5줄짜리 부록의 가성비

• CodeCarbon — EmissionsTracker로 파인튜닝·추론 런을 감싸면 kWh·kgCO2eq가 자동 기록. 논문 부록의 탄소 진술 한 문단이 ~5줄 코드로 나온다(NeurIPS류 체크리스트가 이미 요구).
• AI Energy Score(HF) — 모델 체급별 Wh/1,000쿼리 별점. sLM의 지속가능성 논거를 정량 인용할 곳.
• $/1M tokens — Artificial Analysis 기준 소형 오픈 모델 ~$0.02-0.03 vs 프런티어의 수십~수백 배. 대량 트래픽 의도 분류 엔드포인트에서 sLM 선택의 경제적 핵심.

추론 시간 연산 — 새 파레토 축

Test-time compute 논문(ICLR 2025)과 HF 재현: Llama-3.2-1B가 256 샘플 + 검증기로 MATH-500에서 8B를 추월. "고정 예산에서 {큰 모델 1샘플} vs {sLM N샘플+검증기}"는 심사위원이 신선하게 보는 비교 프레임 — 단 N배의 지연·에너지가 들므로 피크 정확도가 아니라 파레토 점 전체를 보고할 것. 합성 데이터 생성 쪽 대응물은 Smaller-Weaker-Better(ICLR 2025): 고정 FLOP에서 싼 모델의 다량 샘플이 비싼 모델의 소량 샘플을 이긴다 — 단 합성 라벨의 오답률도 같이 재야 한다(⑩편).

한 줄 요약: 효율은 스칼라가 아니라 파레토 점이다 — F1 + p50/p99 + 메모리 + 에너지 + 비용을 실배포 하드웨어에서, 워밍업·반복 프로토콜 명시하고, 양자화 모델은 flip rate로 검증하라.

— sLM 평가 방법론 시리즈 ⑥ / 다음 글: 한국어 토크나이저 — 토큰은 한국어의 단위가 아니다