독파모 평가 해부 ③ — 평가는 실험이다, 그런데 표준오차가 없다

우리는 버튼 색깔 하나를 바꾸는 A/B 테스트에도 p-value를 요구한다. 그런데 수천억 원짜리 국가 사업의 팀 탈락을 결정하는 모델 평가에는 왜 오차막대를 요구하지 않는가. 이번 편은 독파모를 잠시 내려놓고, 모델 평가 점수라는 것이 물리적으로 얼마나 흔들리는 물건인지를 문헌으로 확인한다. 다음 편에서 이 도구를 들고 독파모의 3.2점으로 돌아간다.

점수는 측정값이고, 측정값에는 오차가 있다

벤치마크 정확도는 "문항이라는 표본에서 추정한 모델 능력"이다. 그러면 표본 오차가 있다. Anthropic의 "Adding Error Bars to Evals"가 이걸 정식으로 정리했다. 정확도 p, 문항 수 n일 때 표준오차는 √(p(1−p)/n)이고, 여기서 바로 실무 감각이 나온다.

문항 수	95% 신뢰구간 반폭 (p=0.7 부근)
100	약 ±9.0%p
300	약 ±5.2%p
1,000	약 ±2.8%p
14,000 (MMLU 규모)	약 ±0.8%p

(필자 계산, 위 논문의 공식.)

같은 논문의 검정력 계산으로는, 두 모델의 3%p 차이를 80% 검정력으로 판별하는 데 약 969문항이 필요하다. 그래서 저자의 권고가 "새 평가셋은 최소 1,000문항"이다. 300문항짜리 평가로 1점 차이를 논하는 것은 동전 던지기를 리포트하는 것과 다르지 않다.

이건 시작일 뿐이다. 표본 오차는 오차의 하한이고, 실제로는 측정 조건이 점수를 훨씬 크게 흔든다.

같은 모델, 같은 시험, 다른 점수

• 구현체(하네스)만 바꿔도: 같은 llama-65b의 MMLU가 한 구현에서 0.637, 다른 구현에서 0.488 — 14.9점 차이다. Falcon-7B의 ARC는 14.3점, Mistral-7B의 MMLU는 10.3점 벌어졌다. 전부 공개된 재현 실험이다.
• 프롬프트 서식만 바꿔도: 같은 문제를 묻는 형식만 바꿔 Mistral-7B의 ARC가 +22.3%p 움직였고, 극단적인 사례로는 서식 변경만으로 최대 76점까지 움직인 보고가 있다.
• 객관식 보기 순서만 바꿔도: llama-30B의 MMLU가 41.2%~68.2%, 27.1점 스윙.
• 문항을 같은 뜻으로 바꿔 쓰기만 해도: 한 모델이 벤치마크 순위 1위와 9위 사이를 오갔다.

한국어 실측도 있다. 같은 EXAONE-3.5-32B의 KMMLU를 LG는 57.0으로, SKT는 57.17로, 카카오는 46.36으로 보고했다 — 10.8점 차이다. 부정이 아니다. 원인은 규명돼 있다 — 카카오는 5-shot direct, LG는 0-shot CoT 프로토콜을 썼다. 측정 프로토콜을 명시하지 않은 점수는 비교 대상이 아니라는 뜻이다. 독파모의 NIA 벤치마크 15점이 어떤 프로토콜(샷 수, CoT 여부, 반복 횟수, 온도)로 측정됐는지는 공개되지 않았다.

업계 전체가 이 기준에 못 미친다 — 그래서 기회다

공정하게 말하면 이건 독파모만의 문제가 아니다. 벤치마크 관행을 감사한 BetterBench 연구는 유명 벤치마크 24개를 심사해 대부분이 통계적 유의성 자체를 보고하지 않는다고 결론지었다. 신뢰구간을 붙이는 것만으로 상위 몇 %에 드는 것이 2026년 현재 업계의 수준이다.

그리고 바뀔 수 있다는 선례도 있다. 싱가포르 주도의 동남아 언어 평가 SEA-HELM은 논문 시점에 "단일 실행, 오차막대 없음 — 대부분의 다른 벤치마크와 마찬가지로"라고 적었다가, 지금 라이브 리더보드는 8회 독립 실행 + 부트스트랩 2,000회 + 95% 신뢰구간으로 돌아간다. 비난이 아니라 선례로 인용한다 — 국가 평가 기관이 오차막대를 다는 것은 가능하다. 이미 한 곳이 하고 있다.

반복 실행이 왜 중요한지는 국내에서 이미 실증됐다. 서강대 연구팀이 수능 수학 46문항을 모델당 3회씩 돌렸는데, 어떤 모델은 1회 정답률과 3회 통합(pass@3)의 격차가 24.6%p까지 벌어졌다(이 평가 자체의 한계는 ⑧편에서 따로 다룬다). 3회만 돌려도 드러나는 불안정성을, 1회 측정 점수만으로 비교하는 표가 시중에 얼마나 많은지 생각해 보라.

이 편의 규칙

1. 점수 하나가 아니라 점수 ± 신뢰구간을 보고하라. n을 모르면 신뢰구간을 계산할 수 없고, 신뢰구간이 없으면 순위는 해석 불가능하다.
2. 측정 조건(하네스 버전, 프롬프트 템플릿, 샷 수, 반복 횟수, 온도)을 점수와 함께 적어라. 조건이 다른 점수를 한 표에 넣는 순간 그 표는 무효다.
3. 1,000문항 미만의 평가로 3%p 미만의 차이를 주장하지 마라.

이제 도구가 준비됐다. 다음 편에서 이 도구를 독파모의 점수표에 실제로 들이댄다. 예고하면 — 계산 결과는 필자가 예상했던 것과 달랐다.

— 독파모 평가 해부 ③ / 다음 글: 3.2점에 오차막대를 붙여봤다