독파모 평가 해부 ④ — 3.2점에 오차막대를 붙여봤다

고백부터. 필자는 이 계산을 "3.2점 차이는 노이즈였다"고 쓰기 위해 시작했다. ③편에서 본 문헌들이 그렇게 예고했으니까. 그런데 계산은 그렇게 나오지 않았다. 이번 편은 이 시리즈에서 가장 정직한 편이고, 그래서 가장 중요한 편이다.

이 평가의 표본 단위는 문항이 아니라 사람이다

③편의 "문항 수" 논리를 그대로 가져오면 안 된다. 독파모 2차 평가의 100점은 성격이 다른 두 블록이다.

• 벤치마크 40점 — 표본 단위가 문항. AAII 쪽은 문항 수와 반복 횟수가 공개돼 있다(GPQA 198문항×5회, HLE 1,079×2, Terminal-Bench 89×3 등). NIA 쪽은 문항 수 미공개.
• 사람 평가 60점 — 표본 단위가 사람. 전문가 10명(최고·최저 절사 후 유효 8명), AI 전문사용자 49명, 일반국민 185명.

사람 블록의 오차는 평가자 수와 평가자 간 산포(σ)로 결정된다. 문제는 σ가 공개되지 않았다는 것이다. 그래서 아래 계산은 전부 시나리오다 — 다만 결정적 기준으로 "그 척도에서 산술적으로 가능한 최대 σ"(0~S점 척도에서 S/2)를 포함시켰다. 이 값에서도 유의하다면, 어떤 실제 산포에서도 유의하다는 뜻이다. (전부 필자 계산, 비대응·정규근사·양측 α=0.05.)

계산 ① 일반국민 10점 — 노이즈일 수 없다

LG 7.6 vs 모티프 5.7, 격차 1.9점, n=185.

σ 가정	z	p
5.0 — 0~10 척도에서 산술적 최대	3.65	0.00026
2.5	7.31	<10⁻¹²

모든 평가자가 0점 아니면 10점만 주는 극단적 세계에서도 유의하다. 185명 격차 1.9점은 노이즈일 수 없다.

계산 ② 전문사용자 15점 — 역시 실재한다

SKT 11.6 vs 모티프 8.4, 격차 3.2점, n=49. 산술적 최대 σ=7.5에서도 z=2.11(p=0.035), 현실적인 σ=3이면 z=5.28. 탈락을 만든 가장 큰 격차 — 사용자 블록의 5.0점 — 는 통계적으로 실재하는 격차다.

계산 ③ 전문가 35점 — 유일하게 무너지는 항목

LG 29.5 vs 모티프 27.1, 격차 2.4점, 유효 n=8.

σ 가정	z	판정
5.0	0.96	유의하지 않음 (p=0.34)
4.0	1.20	유의하지 않음 (p=0.23)
2.0	2.40	p=0.016 — 다중비교 보정 실패

유의해지려면 전문가 10명이 35점 척도에서 표준편차 2.1점 이내(척도의 6%)로 합의했어야 한다. 전문가끼리의 일치도가 LLM 출력 평가에서 79~90% 수준이라는 문헌을 감안하면 비현실적인 가정이다. 명목 배점이 가장 컸던 항목이, 통계적으로는 네 팀을 변별하지 못한 유일한 항목이다. ②편의 실효 가중치 결과(35점 배점, 실효 16.9%)와 정확히 겹친다.

계산 ④ 그래서 총점은

총점 격차의 유의성은 전문가 항목의 산포가 지배한다. 시나리오별로:

• 1위-2위 0.7점, 2위-3위 0.9점: 어떤 시나리오에서도 유의하지 않다. SKT, 업스테이지, LG는 통계적으로 동점이다.
• 3위-4위 3.2점: 전문가 산포에 따라 갈린다. 전문가들이 일관됐다면(σ_d=2) 다중비교 보정까지 통과하고, 중간(σ_d=4)이면 보정에서 탈락하고, 산포가 컸다면(σ_d=8) 유의하지 않다.

즉 탈락 결정의 통계적 성립 여부는 전적으로 전문가 10명의 채점 산포에 달려 있고, 그 값은 공개되지 않았다. 여기서 이 시리즈의 가장 구체적인 요구가 나온다 — 정부는 이 값을 갖고 있다. 항목별 평가자 표준편차 한 줄을 공개하면 이 논쟁은 산수로 끝난다.

예상과 달랐던 결론 — 정밀도가 아니라 타당도다

필자의 예상은 "전부 노이즈"였다. 실제 결과는 셋으로 갈렸다 — 상위 3팀은 동점이고, 전문가 항목은 변별에 실패했지만, 탈락을 만든 사용자 격차 자체는 실재한다.

그러니 정직한 결론은 이것이다. 이 평가의 문제는 측정의 정밀도가 아니다. 49명과 185명은 그들이 잰 것을 꽤 정밀하게 쟀다. 문제는 그들이 무엇을 쟀느냐다. 일반국민 185명이 준 1.9점 차이는 실재한다 — 그런데 그 점수는 모델의 무엇을 반영하는가? 답변의 정확성인가, 문체의 매끄러움인가, 응답 속도인가, 말투인가? 그리고 그것이 "6개월 내 출시된 글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 무슨 관계인가? 이 연결을 설명하는 문서를 찾지 못했다.

이 시리즈의 핵심 문장을 여기서 처음 쓴다. 이 글은 정부가 틀린 팀을 잘랐다고 주장하지 않는다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장한다. 오차막대가 없어서 확인할 수 없고, 사람 점수가 무엇을 재는지 정의되지 않아서 확인할 수 없다.

그럼 다음 질문은 정해져 있다. 사람 60점 — 사람은 모델의 무엇을 채점하는가. 이 질문에는 놀랄 만큼 구체적인 연구가 쌓여 있다.

— 독파모 평가 해부 ④ / 다음 글: 60점을 사람에게 맡겼다 — 사람은 무엇을 채점하나