벤치마크는 실력을 재는가 ⑥ — 그런데 왜 배신당하는가: 잔차의 세계와 굿하트

⑤편의 결론은 "벤치마크는 체급을 잘 잰다"였다. 이번 편은 그 반대면 — 점수가 효용을 배신하는 지점들의 실증이다. 패턴은 세 가지다: 실무는 잔차에 살고, 형식이 갈라놓고, 최적화가 상관을 죽인다.

배신 ① 실무 산출물에서 순위가 뒤집힌다

먼저 용어 정리 하나. 이름이 비슷한 세 가지가 있다 — GDPval(OpenAI의 실제 직무 과제 평가), GDPval-AA v2(Artificial Analysis가 운영하는 별도 Elo 버전, AAII의 20% 구성요소), Ko-GDPval(업스테이지의 자체 한국어판, 비공개). 여기서 말하는 건 첫 번째다.

GDPval은 44개 직군의 실제 직무 산출물(보고서, 스프레드시트, 슬라이드 등)을 전문가가 블라인드 비교하는 평가다. 결과 — 학술 벤치마크 다수에서 앞서던 GPT-5가 승률+무승부 39.0%, Claude Opus 4.1이 47.6%로 순위가 뒤집혔다. 전문가들이 본 것은 지식의 양이 아니라 산출물의 완성도 — 서식, 지시 준수, 실제로 제출 가능한 물건인지 — 였다. (아직 n=1 평가라는 한계는 명시해 둔다.)

코딩에서는 격차가 더 극적이다. 같은 Claude 2가 HumanEval 71.2%, SWE-bench 1.96%였다. 함수 하나 짜기와 실제 저장소에서 이슈 해결하기는 36배 차이 나는 다른 과제다. 에이전트 과제(τ-bench)에서는 또 다른 축이 갈라진다 — GPT-4o가 1회 시도 성공률 61.2%, 8회 연속 성공률(pass^8)은 25% 미만. 데모 성공률과 프로덕션 신뢰성은 다른 지표다(서강대 수능 평가의 24.6%p 격차와 같은 구조 — 독파모 ⑧편).

배신 ② 사람 선호도 벤치마크를 배신한다

사람 선호(아레나) 쪽 편향은 독파모 ⑤편에서 다뤘다 — 길이 계수 0.249가 서식 효과의 8~13배라는 것. 이번에 추가할 것은 그 효과의 크기다: 스타일을 통제하자 GPT-4o-mini가 6위→11위로, 다른 모델이 6위→18위로 이동했다. 지식 벤치마크와 선호 벤치마크는 서로 다른 실력을 재고, 그 간극에 문체가 산다.

배신 ③ 최적화가 시작되면 상관은 죽는다

⑤편의 상관 구조는 아무도 그 벤치마크를 목표로 삼지 않았을 때의 이야기다. 목표가 되는 순간:

• 아레나 데이터로 파인튜닝하면 ArenaHard 승률이 23.5% → 42.7% → 49.9%로 상대 +112% 뛴다. 같은 기간 MMLU는 66.5 → 64.4 → 65.9 — 제자리다(변동폭이 노이즈 안). 아레나 실력이 늘어난 게 아니라 아레나 적응이 늘어난 것이고, 상관은 그 지점에서 끊어진다.
• Llama 4의 아레나 제출 변형 논란(공개판과 다른, 대화 최적화 변형으로 순위 획득)은 이 메커니즘의 실전 사례다.
• GSM1k(기존 수학 벤치와 같은 난이도의 신작 문항)에서 일부 모델은 최대 8%p 떨어졌고, 하락 폭은 암기 지표와 상관(r²=0.36)했다.

가장 비싼 사고 — "오프라인 평가는 좋아 보였다"

2025년 4월, OpenAI는 GPT-4o 업데이트를 롤백하며 사후 분석을 공개했다. 요지는 이렇다 — 오프라인 평가들은 대체로 좋아 보였고, A/B 테스트는 사용자들이 좋아한다고 나타났다. 일부 전문가 테스터가 "뭔가 이상하다(felt off)"고 했지만 정량 신호가 우선됐다. 배포 결과는 과도한 아첨으로 인한 대규모 반발과 롤백이었다.

이 사건이 이 시리즈에서 중요한 이유: 벤치마크와 A/B라는 두 정량 관문을 모두 통과한 배포가 실패했고, 그걸 미리 잡은 유일한 신호는 전문가의 직관이었다. "정량 평가가 좋으면 배포한다"는 규칙의 반례가, 가장 평가를 잘한다는 조직에서 나왔다. 교훈은 정량 평가를 버리라는 게 아니라 — 전문가의 "느낌이 이상하다"를 데이터로 취급하라는 것이다.

이 편의 판결

⑤편과 이번 편을 합치면 시리즈의 중심 문장이 완성된다.

"벤치마크는 체급을 재고, 제품 품질은 잔차에 산다.
그리고 벤치마크가 목표가 되는 순간, 체급과의 상관마저 죽는다."

실무 규칙으로 번역하면 — 1~3%p 차이는 버려라(1,000문항의 탐지 한계가 3%p다, 독파모 ③편). 배수 차이는 믿어라(1.96% vs 70%대는 진짜다). 그리고 목표로 삼는 순간 그 지표는 계기판이기를 멈춘다.

남은 질문은 시간축이다. 좋은 벤치마크를 골라도, 그 벤치마크는 얼마나 오래 좋은 채로 남아 있는가. 다음 편 — 모든 시험지는 죽는다. 문제는 죽는지가 아니라, 얼마 만에 어떤 사인으로 죽는지다.

— 벤치마크는 실력을 재는가 ⑥ / 다음 글: 모든 시험지는 죽는다 — 수명주기와 심리측정학 100년