독파모 평가 해부 ⑫ (완결) — 청구서: 방어 가능한 평가는 첫해 2,580만 원이다

마지막 편이다. 열한 편의 비판을 한 장의 설계도로 바꾼다. 우리 회사(그리고 어느 회사든)가 그대로 실행할 수 있는 평가 프로토콜과 그 원화 가격표다. 환율 1,380원/USD, 전부 가정을 명시한 필자 계산이며, 국내 어노테이션 업체들이 문항당 단가를 공개하지 않아 인건비는 공개 크라우드 플랫폼 단가와 최저임금 기준으로 유도했다.

10단계 프로토콜과 가격

단계	내용	비용
1. 사전등록	⑪편의 8줄 + SHA-256 해시 공개	0원 + 8시간
2. 공개 벤치 기준선	하네스 버전 고정, 프로토콜 명시 실행	GPU 소액
3. 자체 골든셋 1,000문항	과제 유형·난이도 층화, 60~95% 정답률 구간 설계, 3분할	약 1,850만 원
4. 오염 감사	13-gram·캐너리·동형 신작 격차	수십만 원
5. LLM 판정자 검증	인간 라벨 대비 일치도 측정 후 채택	약 76만 원
6. 사람 평가	전문가 3인 × 300문항, 블라인드·IRR 보고	약 416만 원
7. CI 회귀 평가	체크포인트마다 자동 실행·드리프트 추적	월 약 32만 원
8. 비용·지연 축	₩/1M 토큰, p95 지연을 점수와 병기	계측만
9. 보고 표준	18항목 체크리스트(아래)	0원
10. 분기 갱신	신작 문항 보충, Sealed 셋 개봉 감사	분기 약 110만 원
합계: 초기 구축 약 1,757만 원(8주) / 첫해 총 약 2,580만 원 / 2년차부터 연 약 825만 원		최소판 약 320만 원

최소판(사전등록 + 크라우드 검수 300문항 + 판정자 검증 + 체크리스트)이 약 320만 원 + 월 10만 원이다. 5인 스타트업도 할 수 있는 가격이고, 국가는 말할 것도 없다. 독파모가 학습데이터 개방 항목 하나에 쓴 예산이 150억 원이다 — 방어 가능한 평가 체계는 그 0.2%다. 이 시리즈의 모든 문제는 돈이 없어서 생긴 게 아니다.

운용 규칙 세 개 — 숫자로

1. 문항 수가 곧 발언권이다. 300문항으로는 약 10%p, 1,000문항으로는 약 3%p 차이까지만 말할 수 있다(80% 검정력 기준). 300문항 평가로 "0.7점 개선"을 주장하는 보고서는 그 문장에서 무효가 된다. 반대로, 판별 못 하는 차이는 "동점"이라고 쓰는 것이 정확한 보고다.
2. LLM 판정자는 채용 면접을 통과해야 한다. 사람 라벨과의 일치도가 사람끼리의 일치도 이상임을 먼저 증명하고 쓴다(문헌 기준: 판정자-인간 85% vs 인간-인간 81%). 위치 편향이 있으므로 A/B 순서를 바꿔 두 번 묻는 것은 타협 불가 — 1,000판정에 중급 모델 기준 약 3천 원이다. 아낄 이유가 없다.
3. 비용 없는 리더보드는 의사결정 도구가 아니다. 모든 표는 정확도 ± 95% CI, ₩/1M 토큰, p95 지연을 함께 싣는다. 궁극의 한 줄 지표는 "정답 1건당 원가"다.

평가 보고서 체크리스트

모든 평가 보고서 말미에 붙일 항목들: 모델 버전·커밋 / 하네스 이름·버전 / 프롬프트 템플릿 전문 / 샷 수 / 문항 수 n / 반복 횟수·시드 / 온도 등 디코딩 설정 / 95% 신뢰구간 / 검정 방식과 보정 / 슬라이스별 분해 / 골든셋 버전 해시 / 오염 감사 결과 / 판정자 모델·버전 / 판정자-인간 일치도 / 사람 평가 IRR / 비용·지연 / 평가 일자 / 사전등록 링크.

굵게 표시한 세 줄 — 오염 감사, 판정자 일치도, 사전등록 링크 — 이 남들 보고서에 없는 것들이고, 이 세 줄이 있는 보고서는 그 자체로 신뢰의 증표가 된다.

다음 국가 평가 공고문에 들어가야 할 것

이 시리즈의 발견을 공고문 언어로 바꾸면 이렇게 된다. ①배점·환산식·프로토콜의 사전 공개와 해시 봉인(⑪) ②모든 점수에 문항 수·반복 횟수·신뢰구간 병기(③④) ③사람 평가의 블라인딩·루브릭·IRR 공개(⑤) ④홀드아웃·신작 문항·캐너리에 의한 오염 방지, 회차 간 문항 재사용 금지(⑥⑪) ⑤외부 지수 사용 시 버전 고정·기록(⑦) ⑥한국어 능력의 제3자 측정 — 독립 리더보드 재건(⑧) ⑦상대 컷 대신 절대 기준선, 탈락 대신 사전 선언 목표 대비 평가(⑨) ⑧평가자 독립성·이해관계 공표·명문화된 이의절차(⑩). 여덟 항목 전부 선례가 있거나 이 시리즈에서 가격이 계산됐다.

마치며

이 시리즈는 정부가 틀린 팀을 잘랐다고 주장하지 않았다. 정부가 옳은 팀을 잘랐는지 아무도 확인할 수 없게 설계했다고 주장했다. 검산 가능했던 것은 전부 검산했고 — 산수는 맞았다, 순위는 가중치 변경에 견고했다, 사용자 격차는 실재했다 — 확인 불가능했던 것들의 목록을 남겼다: 전문가 채점의 산포, 문항 수, 측정 프로토콜, 환산식의 확정 시점, 블라인딩 여부, 이의절차의 존재.

확인할 수 있게 만드는 비용은 첫해 2,580만 원, 시니어 개발자 연봉의 4분의 1이다. 그중 가장 효과가 큰 장치 — 결과를 보기 전에 규칙을 써서 해시로 봉인하는 것 — 는 0원이다.

그리고 이건 남의 이야기가 아니다. 필자의 회사도 모델을 만들고, 우리 모델도 언젠가 누군가의 표 위에 오른다. 그때 우리가 요구할 수 있으려면 우리부터 이 기준으로 재고 있어야 한다. 이 시리즈의 프로토콜은 오늘부터 우리 평가 파이프라인의 사양서다. 남의 숫자를 믿지 말고, 우리 숫자는 남이 믿을 수 있게 만들자.

— 독파모 평가 해부 ⑫ (완결) / 관련 시리즈: 친칠라 법칙(스케일링), LLM 서빙 캐싱(비용), RAG 종류 총정리