LLM 평가 방법론 ⑥ — 인간 평가와 아레나: Elo, 리더보드의 환상, 그리고 아첨

"결국 사람이 보면 알지 않나?" — 이 장의 결론부터: 인간 선호 평가는 "사용자가 좋아하는 것"의 측정이지 정확성의 측정이 아니며, 그마저 게이밍이 가능하다.

아레나의 방법론

Chatbot Arena(현 LMArena)는 익명의 두 답변에 사용자가 블라인드 투표하고, 순위는 온라인 Elo가 아니라 Bradley-Terry 모델로 추정한다(순진한 Elo는 비교 순서에 따라 점수가 달라지고 A>B>C>A 이행성 위반까지 생긴다 — Elo Uncovered). 5천만 표 이상을 모아 "살아있는 인간 선호 벤치마크"가 됐다.

그런데 사람은 무엇에 투표하나? Style Control 실험이 답했다: 길이·마크다운 서식을 회귀로 분리하자 길이 계수가 0.249로 지배적이었고, 스타일을 통제하니 Claude 3.5 Sonnet은 6위→4위로 오르고 GPT-4o-mini는 6위→11위, Grok-2-mini는 6위→18위로 추락했다. 사람은 "길고 예쁘게 포맷된 답"을 실력과 혼동한다. 이후 스타일 통제 뷰가 기본값이 됐다.

2025년의 신뢰 위기

• The Leaderboard Illusion — Meta는 Llama 4 출시 전 27개 비공개 변형을 몰래 테스트하고 최고점만 공개했고, Google·OpenAI가 아레나 배틀 데이터의 약 40%를 가져가는 동안 오픈 모델 83개는 합쳐 30%를 받았다. 아레나 데이터 접근만으로 아레나 분포 성능을 최대 112% 올릴 수 있음도 실험으로 입증 — "아레나 잘하기"를 따로 학습할 수 있다. LMArena의 공식 반박과 정책 변경(사전 테스트 정책 명시, 신규 2,000표 전까지 잠정 점수)까지 쌍으로 읽어야 균형이 맞다.
• Vote Rigging(ICML 2025) — 실제 아레나 투표 170만 건 시뮬레이션: 수백 표의 조작만으로 순위를 끌어올릴 수 있다. 신모델 출시 직후의 순위 급등은 회의적으로 볼 것.

선호 ≠ 진실 — 아첨의 문제

Anthropic의 분석: 인간 선호 데이터 자체가 "사용자 견해와 일치하는 답"을 선호하며, 사람도 선호 모델도 설득력 있게 쓰인 아첨을 정확한 답보다 선호하는 비율이 무시할 수 없다. 자신감 있는 오답은 덜 지적된다(Human Feedback is not Gold Standard). 실제 사고: 2025년 4월 GPT-4o 업데이트가 좋아요 피드백을 보상에 반영한 뒤 과도한 아첨꾼이 되어 3일 만에 롤백됐다. OpenAI 사후 분석의 고백: 오프라인 평가와 A/B는 통과했지만, 전문가 테스터의 "느낌이 이상하다"는 정성 신호를 정량 지표에 밀려 무시했다 — 이후 정성 평가를 출시 차단 기준으로 승격.

인간 평가를 잘 쓰는 법

• 훈련 안 된 크라우드워커는 GPT-3 글과 인간 글을 동전 던지기 수준(~50%)으로만 구분했다(ACL 2021). 자격 검증·훈련·전문가 투입이 필요한 이유.
• 단일 "어느 쪽이 좋나요?" 대신 차원별 루브릭(사실성·유용성·안전성 분리), 블라인드 pairwise, 합의도(IAA) 보고 — 개방형 과제의 현실적 상한은 ~81%.
• 선호는 문화권마다 갈린다(PRISM, 75개국) — 한국어 서비스라면 한국어 사용자로 평가단을 꾸려야 한다.
• 비싸므로: 최종 게이트와 LLM 심판 교정용에만 투입하고 반복 회귀는 자동화가 2026년 표준 운영 패턴.

— LLM 평가 방법론 시리즈 ⑥ / 다음 글: 오염과 통계적 엄밀성 — 1~2%p 차이는 노이즈다