LLM 평가 방법론 ⑦ — 오염과 통계: 1~2%p 차이는 거의 항상 노이즈다

이번 편은 이 시리즈에서 가장 실용적인 회의주의다. 결론부터: 정적 공개 벤치마크 점수는 (1) 오염 검증과 (2) 오차 막대 없이는 신뢰할 수 없다.

오염은 의심이 아니라 측정이다

• GSM1k (Scale AI, NeurIPS 2024) — GSM8k와 난이도·스타일을 맞춘 완전 신규 문제 1,000개를 만들어 재평가하니 일부 모델군(Phi·Mistral 계열)이 최대 8%p 하락. 모델이 GSM8k 문제를 그대로 생성해내는 확률과 하락 폭이 상관(r²=0.36) — 암기의 직접 증거. "자기 태스크의 사설 미러 벤치마크를 만들라"는 실무 처방의 원형.
• 탐지 방법 3종 — ① 교환가능성 검정(Stanford, ICLR 2024 oral): 오염이 없다면 문항 순서를 섞어도 우도가 같아야 한다 — 정식 p-value가 나오는 "증명" 수준의 방법. ② Min-K% 확률 프로브: 학습에 없던 텍스트는 확률이 극히 낮은 토큰을 포함한다 — 오픈 모델에 직접 돌려볼 수 있다. ③ 카나리아 문자열: BIG-bench가 시작한 관행으로, 평가셋에 고유 GUID를 심어두면 데이터 큐레이터는 grep으로 거르고, 연구자는 모델이 그 문자열을 재현하는지로 오염을 입증한다. 자체 평가셋을 웹에 공개하기 전에 반드시 심어라.
• 동적 벤치마크 — LiveBench(월간 갱신 + 객관적 정답 채점, LLM 심판 원칙적 배제), LiveCodeBench(출시일 태깅), MathArena(대회 직후 평가). 오염을 시간축으로 차단하는 것이 2026년의 표준 해법.
• 디컨탐 실무 — Tülu 3(Ai2)의 공개 레시피: 8-gram 중첩으로 필터. 이 파이프라인이 잡아낸 것: 인기 공개 학습셋 NuminaMath의 11.3%가 MATH와 중첩, Evol-CodeAlpaca 3.5%가 HumanEval과 중첩. 널리 쓰이는 공개 데이터셋도 오염된 채 배포된다.

오차 막대 없는 점수는 점수가 아니다

Adding Error Bars to Evals(Anthropic, 2024)의 5대 권고: 표준오차(SEM) 보고, 같은 지문에서 나온 문항 묶음엔 클러스터 표준오차(순진한 계산보다 3배 이상 커질 수 있음), 리샘플링으로 분산 축소, 모델 비교는 반드시 같은 문항에 대한 대응표본(paired) 검정, 검정력 분석으로 필요한 문항 수 산정. 감을 잡자면: 1,000문항 벤치마크의 95% 신뢰구간은 약 ±3%p다.

점수는 벤치마크 밖 요인에도 흔들린다

• 포맷 — 구분자·대소문자·공백 같은 의미 없는 형식 변화만으로 최대 76%p 스윙(FormatSpread). 한 가지 프롬프트 템플릿의 점수는 "모델의 속성"이 아니라 넓은 분포에서 뽑은 표본 하나다.
• 선택지 순서 — 순서 셔플·라벨 변경만으로 리더보드 순위가 최대 8계단 이동(When Benchmarks are Targets).
• 학습 시드 — 같은 모델을 시드만 바꿔 재학습해도 벤치마크 점수가 논문들이 인용하는 개선 폭만큼 움직인다(Quantifying Variance).

실무 체크리스트: 자체 평가셋에 카나리아를 심고, 학습 데이터는 8-gram으로 디컨탐하고, 모델 비교는 동일 문항 paired test로, 여러 프롬프트 포맷·시드에 걸쳐 보고하라. 그리고 리더보드에서 "모델 X가 2계단 올랐다"는 뉴스는 — 대부분 그냥 노이즈다.

— LLM 평가 방법론 시리즈 ⑦ / 다음 글: 안전·신뢰성 평가 — 환각, 지시 이행, 과잉거부