독파모 평가 해부 ⑩ — 누가 재는가: 평가자 독립성은 이미 법 조문으로 있다

지금까지의 문제들 — 오차막대 없음, 프로토콜 미공개, 자기 채점 — 을 관통하는 근본 질문은 하나다. 누가 재는가, 그리고 재는 사람은 누구로부터 독립적인가. 좋은 소식은, 이 질문에 대한 답을 한국이 발명할 필요가 없다는 것이다. 이미 법 조문과 정부 표준 문서로 존재한다. 번역해서 공고문에 붙이면 된다.

이미 문장으로 존재하는 것들

• EU AI Act 제68조 — AI 평가를 담당하는 과학 패널은 "AI 시스템 또는 범용 AI 모델의 어떠한 제공자로부터도 독립적"이어야 하고, 위원 각자가 이해관계 신고서를 공표한다. 조문으로만 있는 게 아니다 — 2026년 6월 독립 전문가 60인이 임기 2년으로 실제 임명됐다.
• 미국 NIST AI 600-1 (MS-1.3-003) — "구조화된 인간 피드백 훈련을 수행하는 자가 동일 모델의 개발 업무에 직접 관여하지 않았음을 검증하라." AI RMF MEASURE 1.3 — "일선 개발자가 아닌 내부 전문가 및/또는 독립 평가자가 참여한다."
• EU 범용 AI 실천규약 부속서 3 — 한국이 필요한 목록이 한 문서에 다 있다: 통계적 유의성과 검정력 보고, 학습-평가 데이터 분리, 캐너리 문자열, 게이밍(샌드배깅) 방지, 다회 반복 실행, 블라인딩, 평가자 간 일치도, 독립 외부 평가자(예외는 20영업일 공개 모집이 실패했을 때뿐), 평가 연구자에 대한 법적 안전항구, 그리고 결과 발표를 30영업일 넘게 막을 수 없다는 조항까지.

이 문서들이 요구하는 것을 한 줄로 줄이면 — 평가자는 개발자와 분리되고, 이해관계는 공표되고, 방법은 공개되고, 결과 발표는 막을 수 없다.

한국 구조에 대입하면

독파모의 평가 체계는 NIA가 벤치마크를 만들고, NIPA가 사업 관리와 이의 심의를 하며, 둘 다 과기정통부 산하다. 분명히 해 두는데, 이것이 부정이 있었다는 뜻이 아니다. 지적은 정확히 이것이다 — 위 세 문서가 요구하는 종류의 분리 장치(평가자의 독립성 요건, 이해관계 신고·공표, 자금 집행 주체와 평가 주체의 분리)에 대응하는 규정이 이 사업에 있는지 공개된 자료로 확인되지 않는다. 규정이 있는데 공개만 안 됐다면 공개하면 되고, 없다면 위 조문을 번역해 넣으면 된다. 어느 쪽이든 다음 회차 공고문에서 해결 가능한 문제다.

전문가 10명(④편)의 명단과 이해관계도 같은 문제다. 익명 유지에는 이유가 있을 수 있다 — 로비 차단. 그렇다면 EU 방식이 답이다. 명단은 공개하되 개별 채점은 익명으로. 신원과 이해관계 신고는 공표하고, 누가 어느 팀에 몇 점을 줬는지는 봉인하는 것. 로비도 막고 검증도 가능하다.

이의절차 — 국제 표준형이 있다

모티프의 이의제기는 이 글을 쓰는 시점까지 공개된 답변이 없고, 애초에 이 사업에 정의된 이의절차가 있었는지도 확인되지 않는다. 참고할 표준형은 EU 연구 예산(Horizon)의 평가 재검토 절차다 — 30일 이내 제기, 분량 제한, 그리고 중요한 두 가지: 재검토 범위는 절차적 하자에 한정하고("평가의 실질 판단"은 대상이 아님), 대신 재평가가 결정되면 이전 평가에 관여하지 않은 평가자가 다시 평가한다.

이 설계가 좋은 이유는 양쪽을 보호하기 때문이다. 탈락 팀에게는 절차를 다툴 길을 주고, 평가자에게는 "점수가 마음에 안 든다"는 무한 재심 요구를 차단해 준다. 한국에 필요한 건 네 줄이다 — ①절차의 존재 ②기한 ③범위 ④재평가 시 평가자 교체.

흥미로운 사실 — 아무도 안 한 것이 남아 있다

정확히 하자. 위의 조문들은 전부 규제·안전 평가용이다. 이 시리즈가 다루는 상황 — 예산 배분을 위한 역량 평가 — 에 대해서는, 조사한 7개 관할권 어디에도 ①사전등록 의무 ②이의절차 ③이해상충 규정의 완결된 세트가 없다. 일본이 목표 사전선언으로 절반쯤 갔고(⑨편), 나머지는 공백이다.

즉 한국은 두 가지를 할 수 있다. 평가자 독립성은 베끼면 되고, 자금 배분 평가의 사전등록·이의절차는 세계 최초로 만들면 된다. "글로벌 격차 몇 점 축소"보다 이쪽이 훨씬 확실하게 잡을 수 있는 세계 1위다. 그리고 진지하게 — AI 평가 체계의 신뢰성은 앞으로 모든 나라가 필요로 하게 될 수출품이다.

이 편의 규칙 — 우리 회사용

1. 모델을 만든 사람이 그 모델의 평가를 소유하면 안 된다. 작은 조직이라도 평가 담당과 학습 담당은 분리하고, 최소한 골든셋 접근 권한을 나눠라(⑪편에서 구체화).
2. 외부에 점수를 낼 때는 이해관계를 먼저 적어라. "우리가 만든 벤치마크에서 우리 모델이 1위"라는 표에는 그 문장이 있어야 한다.
3. 평가에 불복 절차를 미리 정의하라. 사내 모델 채택 결정도 마찬가지다 — 절차 없는 결정은 결과가 옳아도 신뢰를 잃는다.

이제 비판은 끝났다. 남은 두 편은 설계도다. 다음 편은 이 시리즈에서 비용 대비 효과가 가장 높은 장치 — 0원짜리 — 에서 시작한다. 결과를 보기 전에 규칙을 쓰는 것.

— 독파모 평가 해부 ⑩ / 다음 글: 결과를 보기 전에 숫자를 쓴다 — 사전등록과 오염 방지