독파모 평가 해부 ② — 100점 중 15점은 아무 일도 하지 않았다

①편에서 점수표의 산수가 맞는다는 걸 확인했다. 이번 편은 그 표를 다른 각도에서 읽는다. 배점표에 적힌 숫자와, 실제로 순위를 만든 숫자는 다르다.

배점은 의도이고, 분산이 현실이다

배점표는 이렇게 말한다 — 전문가 평가가 35점으로 가장 중요하고, AAII가 25점, NIA 벤치마크와 전문사용자가 각 15점, 일반국민이 10점이다. 그런데 어떤 항목이 순위에 실제로 기여하는지는 배점이 아니라 그 항목이 팀 간에 만들어내는 점수 차이(분산)가 결정한다. 모든 팀에게 똑같은 점수를 주는 항목은 배점이 100점이어도 순위에 아무 영향이 없다.

네 팀의 항목별 점수에서 각 항목이 총점 분산에 기여한 몫을 계산하면(필자 계산, n=4의 기술통계임을 명시한다 — "이 4팀에서 그랬다"는 뜻이지 보편 법칙이 아니다):

항목	명목 배점	4팀 격차	실효 가중치	배율
AAII	25	4.1	41.7%	×1.67
AI 전문사용자	15	3.2	28.9%	×1.93
전문가	35	2.4	16.9%	×0.48
일반국민	10	1.9	10.9%	×1.09
NIA 벤치마크	15	0.7	1.7%	×0.11

배점표와 현실이 정반대다.

• 명목 배점이 가장 큰 전문가 35점의 실효 가중치는 16.9% — 배점의 절반도 작동하지 않았다.
• 명목 15점짜리 전문사용자가 실효 2위(28.9%)다. 배점 대비 거의 2배로 작동했다.
• 그리고 NIA 벤치마크 15점의 실효 가중치는 1.7%다.

100점 중 15점은 아무 일도 하지 않았다

NIA 벤치마크 항목의 네 팀 점수는 12.7, 12.8, 13.3, 13.4다. 변별폭이 0.7점 — 만점의 4.7%다. 네 팀이 사실상 같은 점수를 받았고, 이 항목은 상수였다.

왜 이렇게 됐는지는 범주별 원점수에 단서가 있다. NIA 벤치마크 8개 범주 중 지시이행은 네 팀이 99.8~100.0, 사회적 안전성은 98.8~100.0이다. 완전히 포화된 시험지다. 모두가 100점을 받는 시험은 아무것도 재지 못한다 — 시험이 쉬워서 모두가 잘하는 것인지, 모두가 잘해서 시험이 의미 없어진 것인지조차 구분할 수 없다.

이건 이 사업만의 문제가 아니라 한국어 벤치마크 전반의 상태다(⑧편에서 본다). 참고로 벤치마크 설계 문헌에는 기저 정답률이 60~95% 구간을 벗어나면 변별력이 사라진다는 실무 기준이 있다. 99.8%는 그 상한을 한참 벗어나 있다. 국가 벤치마크의 절반이 죽은 눈금 위에서 채점됐다.

공정하게: 가중치를 바꿔도 순위는 안 바뀐다

여기서 멈추면 "가중치 장난으로 결과가 뒤집혔다"는 인상이 남을 텐데, 그건 사실이 아니다. 검산해 봤다.

• 다섯 항목을 균등 배점(20/20/20/20/20)으로 바꿔도 순위는 SKT > 업스테이지 > LG > 모티프 그대로다.
• 순위가 바뀌려면 벤치마크 블록의 비중을 약 60% 이상으로 올려야 한다.
• AAII의 환산 상한 문제(①편의 "도달 불가능한 9.25점")를 실제 세계 최고 63점 기준으로 고쳐 다시 계산해도 모티프는 여전히 4위다(72.68 vs LG 73.48, 100점 환산).

즉 모티프가 이의제기에서 주장한 "AAII 격차 16점이 4점으로 압축됐다"는 수치적으로 정확하지만, 그 압축을 고쳐도 결과는 바뀌지 않는다. 이 결과는 가중치의 소소한 변경에 견고하다. 이건 정부에게 유리한 사실이고, 그래서 그대로 쓴다.

하지만 이 견고함이 말해 주는 것을 정확히 읽어야 한다. 순위가 안 바뀌는 이유는 모티프가 사람 평가 세 항목에서 전부, 크게 졌기 때문이다(전문가 −2.4, 전문사용자 −3.2, 일반국민 −1.9). 그러니 진짜 질문은 가중치가 아니라 이것이다 — 그 사람 점수들은 무엇을 잰 것인가. 그리고 벤치마크에서 이기고 사람 평가에서 진 팀을 자르는 것이 "글로벌 프론티어 대비 95% 성능"이라는 사업 목표와 정합적인가.

이 편의 교훈 — 우리 회사용

자체 평가 체계를 설계할 때 그대로 가져갈 규칙 세 개.

1. 가중치는 배점이 아니라 분산으로 정의된다. 배점표를 만들었으면 시뮬레이션으로 실효 가중치를 확인하라. 우리가 중요하다고 적은 항목이 실제로 순위를 움직이는지.
2. 포화된 지표는 배점에서 빼거나 어렵게 만들어라. 전 대상이 95%를 넘는 항목은 눈금이 아니라 장식이다.
3. 민감도 분석을 발표에 포함하라. "가중치를 바꿔도 결론이 유지되는가"는 한 시간짜리 계산이고, 이번처럼 결론이 견고하다면 그건 평가자에게 유리한 증거다. 왜 이 계산을 정부가 아니라 블로거가 하고 있는지 모르겠다.

다음 질문. 격차가 0.7점, 0.9점, 3.2점이라는데 — 이 숫자들에 오차막대를 붙이면 어떻게 될까. 그 전에, 애초에 모델 평가 점수라는 게 얼마나 흔들리는 물건인지부터 보자.

— 독파모 평가 해부 ② / 다음 글: 평가는 실험이다 — 그런데 이 실험엔 표준오차가 없다