독파모 평가 해부 ⑪ — 결과를 보기 전에 숫자를 쓴다: 사전등록과 오염 방지

비판은 ⑩편으로 끝났다. 여기서부터는 설계도다. 그리고 첫 번째 부품은 이 시리즈 전체에서 비용 대비 효과가 가장 높은 장치인데, 가격이 0원이다. 결과를 보기 전에 규칙을 쓰고, 그것을 고칠 수 없게 봉인하는 것 — 사전등록(pre-registration)이다.

왜 이게 핵심인가

임상시험은 수십 년 전에 이 문제를 겪었다. 결과를 본 뒤에 평가 기준을 고르면, 고르는 사람이 악의가 없어도 결론이 오염된다 — 지표가 여러 개면 그중 하나는 우연히 유리하게 나오기 마련이고, 사람은 그걸 "원래 중요했던 지표"로 기억한다. 해법은 단순했다. 시험 전에 주 지표와 판정 규칙을 등록하고, 등록과 다른 분석은 "탐색적"이라고 표시한다.

AI 평가에도 같은 장치가 2026년 현재 실증돼 있다. 하나는 평가 프로토콜 문서의 SHA-256 해시를 미리 공개해 두는 방식 — 나중에 프로토콜을 슬쩍 바꾸면 해시가 달라져 들통난다. 다른 하나는 더 우아하다. "아직 나오지 않은 다음 모델"에 대해 평가를 등록하는 것 — 등록 시점에 존재하지 않는 모델에는 유리한 기준을 고를 수가 없다. 이 방식이 기준 선택을 통한 결과 왜곡을 실험에서 73.9% 차단했다.

독파모에 대입해 보라. 배점(25/15/35/15/10)이 언제 확정됐고 참가자에게 언제 공지됐는지, AAII÷4 환산이 결과를 보기 전에 정해진 것인지 — 공개된 자료로는 알 수 없다. 사후에 정해졌다고 주장하는 게 아니다. 사전에 정해졌음을 증명할 수단을 만들지 않았다는 것이고, 해시 공개 한 줄이면 그 증명이 공짜였다는 것이다. 실제로 벤치마크 비중 조정이 "검토 중"이라는 발표가 결과 공개 직후에 나왔는데, 사전등록 체계가 있었다면 이런 발표 자체가 "다음 회차 규칙의 사전 공지"라는 정상적인 형태를 가졌을 것이다.

사전등록 문서에 들어갈 8줄

1. 의사결정 규칙 — 숫자로. "총점 X점 미만이면 탈락" 또는 "주 지표에서 기준선 대비 유의한 개선이면 채택".
2. 주 지표 단 하나. 나머지는 전부 보조 지표로 명시.
3. 가중치 — 그리고 그 가중치의 근거 한 줄씩.
4. 평가셋 버전 — 골든셋 파일 해시, 분할 방식, 서브샘플 ID까지.
5. 판정 방법 — 사람이면 루브릭·평가자 수·일치도 하한, LLM 판정자면 모델 버전·프롬프트·검증 결과(⑫편).
6. 표본 크기와 검정력 — "이 문항 수로는 몇 %p까지 판별 가능"을 스스로 명시.
7. 통계 검정 계획 — 검정 방식, 다중비교 보정, 유의수준.
8. 중단·예외 규칙 — 어떤 경우에 평가를 무효로 하는가.

이 문서를 쓰고 해시를 공개하는 데 드는 비용: 0원 + 약 8시간. 인건비로 쳐도 수십만 원이다. 효과: 평가 결과에 대한 거의 모든 종류의 사후 시비 차단.

오염 방지 — 3분할과 감사 4종

⑥편에서 봤듯 생존이 걸린 반복 평가에서 오염 방지는 전제 조건이다. 실무 설계는 이렇다.

평가셋 3분할.

• Public 30% — 공개. 참가자가 형식을 파악하고 이의를 제기할 수 있게. 오염되는 것을 전제로 운영한다.
• Internal 50% — 비공개, 회차마다 사용. 점수의 주력.
• Sealed 20% — 암호화 보관, 분기 1회만 개봉. Internal 점수와 Sealed 점수의 격차가 벌어지면 Internal이 오염됐다는 신호다.

오염 감사 4종. ①공개 코퍼스와의 13-gram 중복 스캔 ②멤버십 추론(Min-K% Prob) ③캐너리 문자열 — 평가셋에 고유 GUID를 심어 두고 모델이 그것을 완성하는지 검사(BIG-bench가 이 방식의 원조다) ④동형 신작 문항과의 격차 측정 — 기존 문항과 같은 난이도로 새로 만든 문항에서 점수가 뚝 떨어지면 그 격차가 곧 오염의 크기다(GSM1k 방식, 유명 모델들에서 실측 최대 8%p).

그리고 가장 중요한 것 하나. 오염 방지의 90%는 기술이 아니라 권한 분리다. 골든셋 저장소를 학습 파이프라인의 서비스 계정이 읽을 수 없게 하라. 평가 담당자와 학습 담당자를 분리하라. 골든셋을 어떤 외부 SaaS에도 올리지 마라(프롬프트 로깅이 곧 유출이다). 이건 국가 사업이든 5인 스타트업이든 똑같이 적용된다.

한국어 평가셋의 오염 저항 — 선택지는 넷뿐이다

⑧편의 재료들을 오염 관점에서 다시 정리하면, 구조적으로 오염을 막는 한국어 평가 설계는 네 가지다.

방식	사례	대가
연 1회 최신 기출만 사용	최신 수능·자격시험 회차	연 1회만 갱신 가능
전문가 신작	KoBALT(웹과의 trigram 중복 0.7%)	문항당 제작비
절차적 생성 + 시드 재생성	NOLLI 방식	만들 수 있는 과제 유형 제한
완전 비공개 홀드아웃	SEAL, 사우디 BALSAM	외부 재현 불가 — 운영자 신뢰 필요

넷 다 장단이 있고, 그래서 실무 답은 조합이다 — 공개 셋으로 투명성을, 신작·절차 생성으로 주력 측정을, 봉인 셋으로 오염 감시를. 국가 벤치마크가 이 구조를 갖추면 ⑥편의 "탈락제가 오염을 보상한다" 문제가 실제로 풀린다.

마지막 편이 남았다. 지금까지의 모든 부품 — 오차막대, 사람 평가 설계, 판정자 검증, 사전등록, 오염 방지 — 를 하나의 프로토콜로 조립하고, 원화 가격표를 붙인다. 미리 말하면, 총액은 시니어 개발자 연봉의 4분의 1이다.

— 독파모 평가 해부 ⑪ / 다음 글: 청구서 — 방어 가능한 평가 체계는 첫해 2,580만 원이다