독파모 평가 해부 ⑨ — 탈락시키는 나라는 없었다: 7개 관할권 비교

"여러 팀에 국가 자원을 주고, 라운드마다 종합점수로 줄 세워 하위 팀을 자르고, 살아남은 팀에 GPU를 몰아준다." 독파모의 구조다. 이 구조를 다른 나라에서 찾아봤다 — 일본, EU, 영국, 미국, 싱가포르, 사우디, 그리고 상금 대회까지. 찾지 못했다. 이번 편은 그 비교다. (해외 사업의 예산 규모는 공식 출처 확인이 안 되는 값이 많아 이 글에서는 다루지 않는다.)

일본 GENIAC — 가장 가까운 비교 대상, 정반대의 선택

일본의 GENIAC은 독파모와 가장 비슷한 사업이다 — 정부가 여러 팀에 컴퓨트를 지원해 자국 파운데이션 모델을 만들게 한다. 그런데 운영이 정반대다.

• 탈락시키지 않는다. 팀 수가 10 → 21 → 24로 늘었다. 기수마다 새로 공모하고 재응모를 허용한다. 4기는 아예 "영역 특화 모델 개발"로 사업 성격을 바꿨다.
• 1기에는 공정성을 명시하며 held-out 평가셋을 구축했고(외부 평가 플랫폼과 협업), 최하위 모델은 순위로 깎는 대신 왜 낮았는지를 주석으로 달아 공개했다.
• 2~3기는 공통 리더보드를 버리고 "사전 선언한 목표 대비 실적"으로 전환했다. 각 팀이 개발 목적, 채택 벤치마크, 목표 수치를 미리 선언하고 실적을 보고한다 — 사실상의 사전등록이다. 그리고 미달을 그대로 공개한다: 한 팀은 영상 품질 지표 목표 545 대비 실적 804(낮을수록 좋음), 다른 팀은 목표 8.60 대비 7.88 — 전부 "미달" 표기로 공표됐고, 그래도 사업에서 잘리지 않았다.
• 평가에 쓴 데이터셋을 GitHub/HuggingFace에 공개해 공공재로 남긴다.
• 지원이 취소된 유일한 사례는 성능이 아니라 신청서 허위 기재였다 — 근거 규정 조항과 반환액(약 1억 엔)까지 공표했고 영문으로도 냈다.

요약하면 일본은 "평가는 학습 신호, 퇴출은 부정행위에만"이라는 원칙으로 운영한다. 독파모는 평가를 퇴출 장치로 쓴다 — ⑥편에서 봤듯 그 구조는 오염을 유인한다.

절대 기준 vs 상대 컷 — EuroHPC의 선택

EU의 컴퓨트 배분(EuroHPC)은 심사를 하되 상대 순위가 아니라 절대 기준선을 쓴다 — 항목당 5점 만점에 3점, 합계 15점에 10점을 넘으면 자격이 있다. 경쟁자가 몇 점이든 내가 기준을 넘으면 된다. 그리고 배정받은 자원을 회수하는 사유는 "성능 미달"이 아니라 "배정받고 안 쓴 것"이다. 이의신청은 15일 이내 제기, 1개월 내 회신으로 절차가 명문화돼 있다. 상대 컷은 팀들을 서로의 적으로 만들고, 절대 기준은 팀들을 기준의 경쟁자로 만든다. 어느 쪽이 벤치마크 게이밍을 덜 유인하는지는 자명하다.

탈락제를 정말 쓴 곳이 하나 있다 — 그리고 그 대가

공정하게, 점수로 탈락시킨 사례를 하나 찾았다. 미국 DARPA의 AI 사이버보안 챌린지(AIxCC)는 42팀을 7팀으로 잘랐다. 그런데 조건이 다르다.

• 이건 국가 역량 육성 사업이 아니라 상금 대회다.
• 채점식을 39쪽 규격서로 사전 공개했다 — 정확도 승수의 수식(AM = 1−(1−r)⁴)까지.
• 팀별 원점수를 공개했고, 채점 오류가 발견되자 정오표를 내고 점수를 수정했다(70→63).
• 결과물 전원 오픈소스화를 의무화했다.

즉 탈락제를 쓰려면 이만큼의 투명성이 전제라는 게 유일한 선례의 교훈이다. 그리고 하나 더 — 그렇게까지 했는데도 후속 연구는 7개 우승 시스템이 "원래 팀 밖에서는 사실상 사용 불가"였다고 보고했다. 대회 최적화의 산물은 대회 밖에서 잘 작동하지 않는다. 탈락 토너먼트가 만드는 모델이 산업 현장에서 쓸 모델과 같으리라는 가정 자체를 의심해야 한다.

이해상충 — "없다"가 아니라 "보이게 한다"

다른 나라라고 이해관계가 깨끗한 게 아니다. 일본 심사위원 명단에는 산업 당사자가 들어 있고, 사별 교부액·컴퓨트는 일본도 공개하지 않는다. 싱가포르는 같은 기관이 자국 모델(SEA-LION)과 그 모델이 1위인 리더보드(SEA-HELM)를 함께 운영한다. 사우디의 국가 평가 플랫폼 BALSAM은 저자 일부가 피평가 팀과 겹친다.

차이는 공개 여부다. 사우디 BALSAM은 유일하게 확인된 블라인드 홀드아웃 국가 평가 플랫폼인데, 그 위에서 자국 대표 모델이 4위라는 결과를 그대로 공개한다(GPT 계열과 중국 모델 두 개 아래). 싱가포르 SEA-HELM은 ③편에서 봤듯 8회 반복 + 부트스트랩 + 95% 신뢰구간으로 전환했다. "이해상충이 없다"가 아니라 "이해상충과 불리한 결과가 보인다"가 이들 시스템의 방어선이다.

비교표

프로그램	점수 탈락	사전 공개된 채점 규칙	홀드아웃	오차막대	명문화된 이의절차
일본 GENIAC	✗ (팀 증가)	목표 사전선언	1기 ○	✗	—
EuroHPC	✗ (절대 기준)	○ (3/5·10/15)	—	—	○ (15일/1개월)
사우디 BALSAM	✗	○	○ 블라인드	—	—
싱가포르 SEA-HELM	✗	○	부분	○ 8회+CI	—
DARPA AIxCC (상금 대회)	○ (42→7)	○ 39쪽 규격+정오표	○	—	○
독파모	○ (5+1→3)	배점만 공개	미공개	✗	확인 안 됨

독파모는 가장 강한 조치(탈락)를 쓰면서 가장 약한 투명성으로 운영되는 유일한 사례다. 탈락제 자체가 절대 악은 아니다 — 그걸 쓴 유일한 곳이 지불한 투명성의 값을 안 냈다는 것이 문제다.

그럼 남은 질문은 사람이다. 누가 재는가, 재는 사람은 누구로부터 독립적인가. 놀랍게도 이 질문의 답은 이미 법 조문으로 존재한다.

— 독파모 평가 해부 ⑨ / 다음 글: 누가 재는가 — 평가자 독립성은 이미 법 조문으로 존재한다