독파모 평가 해부 ⑤ — 60점을 사람에게 맡겼다: 사람은 무엇을 채점하나

④편의 결론은 "사용자 점수 격차는 실재하지만, 그것이 무엇을 잰 것인지 모른다"였다. 이번 편은 그 빈칸을 문헌으로 채운다. 사람에게 모델을 채점시키면 사람은 무엇을 채점하는가. 독파모는 100점 중 60점을 사람에게 맡겼다 — 전문가 35, AI 전문사용자 15, 일반국민 10. 이 선택이 무엇을 의미하는지 알려면 사람 선호 평가에 대해 알려진 것들을 봐야 한다.

사람은 정답이 아니라 문체에 투표한다

가장 큰 규모의 사람 선호 평가는 LMArena(구 Chatbot Arena)다. 그리고 그 운영자 스스로가 자기 데이터의 편향을 정량화했다. 선호 투표를 회귀분석하면 응답 길이의 계수가 0.249로, 마크다운 목록(0.031)·헤더(0.024)·볼드(0.019)보다 8~13배 크다. 길게 쓰면 이긴다는 뜻이다. 실제로 문체 효과를 통제한 순위를 발표하자 한 모델이 6위에서 18위로 12계단 떨어졌다. 조작이 아니다 — 사람 선호가 원래 그렇게 생겼다는 운영자 자신의 보고다.

정확성 쪽은 더 불편하다.

• 스택오버플로 질문에 대한 ChatGPT 답변을 분석한 연구: 답변의 52%가 부정확했는데, 사용자들은 그중에서도 35%를 사람 답변보다 선호했고 오류의 39%를 알아채지 못했다. 선호 이유로 꼽힌 것이 "포괄성과 잘 다듬어진 문체"다.
• 단정적인 문체로 쓰인 출력에서 비전문가는 사실 오류의 2.2%를, 전문가는 24.6%를 탐지했다. 자신감 있는 문체는 비전문가에게는 오류를 가려 주고, 전문가에게는 오히려 검증 대상으로 보이게 한다.
• 크라우드 평가자의 평가자 간 일치도(Krippendorff α)를 실측한 연구에서는 0.11~0.27 — 사용 불가 수준 — 이 나왔고, 문항당 판단에 걸린 시간의 중앙값은 13초였다.

모델 쪽에도 이 편향에 올라타는 성질이 있다. RLHF로 학습된 모델은 사용자 의견에 동조하는 방향으로 보상받아 왔고, 선호 보상모델이 진실한 답변보다 아첨하는 답변을 95%의 경우에 선호한다는 측정이 있다. "확실해요?"라고 되묻기만 해도 일부 모델은 맞는 답의 86~98%를 뒤집었다. 즉 사람 선호 60점은 모델의 능력만이 아니라, 사람 비위를 맞추도록 튜닝된 정도를 함께 잰다.

몇 명이면 되는가 — 그리고 몇 문항이면 되는가

표본 크기 문제도 계산이 된다(필자 계산, 이항 검정, α=0.05, 검정력 80%).

• 55:45 정도의 선호 차이를 입증하려면 무승부 제외 783건의 판정이 필요하다.
• 52.5:47.5이면 3,139건이다.

독파모의 전문사용자 49명·일반국민 185명이 각각 몇 건의 판정을 했는지는 공개되지 않았다. 1인당 여러 문항을 평가했다면 충분했을 수도 있다 — 그 산수를 공개하면 되는데 하지 않았다.

문항 수 쪽에는 더 유용한 개념이 있다. 분리도(separability) — 전체 모델 쌍 중 신뢰구간이 겹치지 않는 쌍의 비율이다. 160문항짜리 MT-Bench의 분리도는 22.6%다. 즉 77%의 모델 쌍은 애초에 순위를 가릴 수 없다. 1,000문항으로 늘린 Arena-Hard는 87.4%다. 독파모 사람 평가의 과제 수와 분리도는 공개되지 않았다.

공정하게: 문제는 '일반국민'이 아니라 '구조 없는 선호 투표'다

여기서 "일반인에게 물어본 게 잘못"이라고 결론 내리면 틀린다. 구조를 주면 비전문가도 잘한다. 토론·체크리스트·참조자료를 제공한 실험에서 비전문가 정확도가 76%까지 올라갔고, 리커트 척도 대신 이진 판정 + 근거 서술(Boolean 루브릭)을 쓰면 일치도가 오르고 평가 시간이 절반으로 줄어든다는 실무 보고가 있다. 사람 평가는 벤치마크가 못 재는 것(실사용 맥락, 한국어의 자연스러움)을 잴 수 있는 유일한 도구이기도 하다. 문제는 도구가 아니라 설계다.

그래서 방어 가능한 사람 평가의 최소 요건은 정해져 있다 — 블라인딩(어느 팀 모델인지 가림), 제시 순서 무작위화, 사전 등록된 루브릭과 앵커 예시, 평가자 캘리브레이션, 평가자 간 일치도(IRR) 보고, 길이·서식 통제, 표본 크기 근거. 독파모 사람 평가 60점에서 이 중 무엇이 지켜졌는지, 하나도 공개되지 않았다.

블라인딩 하나만 봐도 상태를 알 수 있다. 한 보도는 "블라인드 평가"라 했고, 정부 자료는 "제시 순서 무작위"라고 표현했으며, 모티프는 이의제기에서 "블라인드를 요청했다"고 주장했다 — 블라인드였다면 나올 수 없는 주장이다. 세 서술이 서로 충돌하는데 어느 것이 사실인지 확인할 공개 자료가 없다. 60점짜리 측정의 가장 기본적인 설계 항목이 이 상태다.

이 편의 규칙 — 우리 회사용

1. 사람 선호 점수를 "품질"로 읽지 마라. 그것은 품질 + 길이 + 문체 + 아첨의 합성 신호다. 길이·서식을 통제하고, 정확성은 별도 축으로 재라.
2. 비전문가에게는 선호를 묻지 말고 구조화된 과제를 줘라. 체크리스트, 참조자료, 이진 판정.
3. IRR을 계산하지 않은 사람 평가는 버려라. α 0.2짜리 패널의 평균은 정보가 아니다.
4. 블라인딩과 순서 무작위화는 협상 대상이 아니다. 그리고 그렇게 했다고 문서로 남겨라 — "했다"와 "했다고 증명할 수 있다"는 다르다.

여기까지가 사람 쪽이다. 그런데 벤치마크 쪽은 단단한가? 다음 편은 더 불편한 이야기다 — 규칙을 하나도 어기지 않고 리더보드에서 이기는, 이미 정량화된 방법들. 그리고 탈락제가 바로 그 방법들을 쓰도록 유인한다는 구조적 문제.

— 독파모 평가 해부 ⑤ / 다음 글: 부정행위 없이 리더보드를 이기는 법