벤치마크는 실력을 재는가 ⑤ — 점수들은 함께 움직인다: 벤치마크가 실제로 재는 것

여기까지 읽었다면 "벤치마크는 전부 엉터리"라는 결론으로 기울었을 것이다. 이번 편은 그 결론을 막는 편이다. 벤치마크 무용론에는 나쁜 소식이 있다 — 점수들은 저차원으로, 놀랍도록 함께 움직인다.

LLM에도 g가 있다

서로 다른 벤치마크 점수들을 모아 주성분 분석을 돌리면 이런 그림이 나온다.

• 공개 모델 수백 개의 벤치마크 점수에서 제1주성분(PC-1)이 분산의 약 80%를, 상위 3개 주성분이 약 97%를 설명한다(관찰적 스케일링 법칙 연구).
• 리더보드 모델 1,232개를 분석한 별도 연구에서는 단일 일반 요인(g)이 성능 분산의 85%를 설명했다.
• HELM 데이터의 요인 분석에서도 소수 요인이 대부분을 설명한다는 같은 구조가 나온다.

심리측정학에서 인간 지능 검사들이 서로 상관을 보이며 일반 지능 g를 정의했던 것과 같은 구조다. 그리고 이 축은 허공에 뜬 게 아니다 — PC-1과 학습 컴퓨트(log FLOPs)의 결정계수가 R² > 0.9다. 벤치마크들이 공통으로 재고 있는 그 무언가는 상당 부분 모델의 체급(컴퓨트가 만든 일반 능력)이다.

이 축은 예측력도 있다

"체급을 잰다"는 말이 공허하지 않은 이유는 실제 예측이 되기 때문이다.

• AI2의 모델 사다리 연구는 타깃 컴퓨트의 1%만 쓰고 7B/13B 모델의 태스크 정확도를 절대오차 2%p 이내로 예측했다(친칠라 시리즈 ⑫편에서 다룬 그 결과다).
• 관찰적 스케일링 연구는 약한 모델들의 기본 벤치마크 점수만으로 더 강한 모델의 에이전트 성능을 홀드아웃 예측하는 데 성공했다.

즉 — "진짜 실력은 벤치마크로 판단한다"를 "모델의 체급은 벤치마크로 판단한다"로 읽으면, 그 문장은 참이다. 7B와 프런티어를 구분하고, 후보 30개를 5개로 추리고, 새 체크포인트의 퇴행을 잡는 데 벤치마크는 실제로 작동한다. 이 시리즈의 첫 절반이 보여준 모든 결함에도 불구하고 그렇다.

그런데 상관에는 두 가지 함정이 있다

함정 1 — 겉상관과 실질 변별은 다르다. LMSYS 자신의 분석에서 MT-Bench는 아레나 순위와 스피어만 상관 91.3%를 보였다. 훌륭해 보인다. 그런데 같은 분석에서 신뢰구간을 고려한 일치율은 26.1%였다. 상관은 "대체로 같은 방향"이라는 뜻이지 "이 모델 쌍의 우열을 맞힌다"는 뜻이 아니다. 순위표 전체의 기울기와 인접한 두 모델의 비교는 완전히 다른 문제다(독파모 시리즈 ⑤편의 분리도 개념이 바로 이것이다).

함정 2 — 상관 수치는 모델 집합에 의존한다. 7B부터 프런티어까지 섞어 놓으면 무엇이든 상관이 높게 나온다 — 체급 차이가 다 쓸어담기 때문이다. 같은 체급끼리 좁혀서 다시 재면 상관은 크게 약해진다. "벤치마크 간 상관 0.9"라는 숫자를 볼 때는 어떤 모델들을 섞어서 잰 상관인지부터 확인해야 한다.

중간 판결

4심급(①오염 ②형식 ③포화 ④상관) 중 ④의 전반부 판결은 이렇다.

• 벤치마크는 체급을 잰다 — 잘 잰다. 점수들은 컴퓨트에 묶인 단일 축으로 거의 다 설명되고, 그 축은 외삽 예측까지 된다.
• 따라서 트리거 문장을 스크리닝과 회귀 게이트로 읽으면 참이다.
• 그러나 같은 체급 안의 서열 판정은 상관이 보증하지 않는다 — 겉상관 91.3%가 실질 일치 26.1%로 무너지는 지점이 정확히 거기다.

그렇다면 남는 질문은 하나다. 체급이 같은 모델들 사이에서, 혹은 체급으로 설명되지 않는 영역에서 — 점수와 실제 효용은 왜, 어디서, 얼마나 갈라지는가. 다음 편은 그 갈라짐의 실증이다. 예고편: 학술 벤치마크에서 앞서던 모델이 실제 직무 산출물 평가에서 뒤집힌 사건, 같은 모델의 코딩 점수가 71.2%와 1.96%로 동시에 존재하는 사건.

— 벤치마크는 실력을 재는가 ⑤ / 다음 글: 그런데 왜 배신당하는가 — 잔차의 세계와 굿하트