sLM 평가 방법론 ⑪ (완결) — 평가 챕터 쓰기: 심사위원이 재실행할 수 있게

마지막 편의 기준은 하나다: 적대적인 심사위원이 논문만 보고 모든 숫자를 재실행할 수 있는가. 2026년의 평가 보고는 체크리스트 주도·버전 고정이 표준이다.

체크리스트를 뼈대로 쓰라

ACL Responsible NLP 체크리스트의 A~D절(한계·산출물·계산 실험·인간 참여)을 평가 챕터의 목차로 삼아라 — 모든 항목이 본문에서 답해지면 공격 지점이 없다. C절이 요구하는 것: 하이퍼파라미터 탐색 범위와 최종값, 총 연산 예산(GPU 시간)·인프라, 전처리·평가 도구의 패키지 버전, 그리고 모든 숫자가 단일 실행인지 N개 시드의 평균인지 최고값인지. NeurIPS 체크리스트 Q4~Q8도 같은 질문이다 — 부록에 표 하나로 답해두면 "몇 시드였죠? 어떤 하드웨어였죠?"가 선제 차단된다. 중요한 원칙: "No"라고 답해도 된다 — 죄는 한계가 아니라 침묵이다.

공정한 비교의 조건

Show Your Work(EMNLP 2019): 튜닝 예산을 맞추지 않으면 승자가 뒤바뀔 수 있다 — 베이스라인과 제안 모델 각각의 튜닝 횟수를 보고하라. 잔뜩 튜닝한 제안 모델 vs 무튜닝 베이스라인이 심사위원이 가장 먼저 잡는 불공정 비교다. 누수 쪽은 REFORMS(Science Advances 2024, 32항 합의 체크리스트): 테스트셋 튜닝, 스플릿 누수, 누락된 베이스라인이 ML 기반 과학의 반복되는 타당성 실패다 — 인텐트 데이터는 발화가 아니라 사용자/세션 단위로 분할했음을 명시하라.

부록 3종 템플릿

• Model Card — 의도된 용도/범위 밖 용도, 그리고 슬라이스별 분해 평가(존댓말/반말, 방언, 오타 많은 입력별 성능) — 분해가 리더보드 숫자를 평가 챕터로 바꾼다.
• Datasheet — 발화 출처, 로그의 프라이버시 처리, 라벨 체계 구축 과정, 스플릿 논리. 자체 구축 데이터셋 논문의 필수 부록.
• HEDS(Human Evaluation Datasheet) — 사람이 평가·라벨링에 참여했다면: 인원·배경·보상, 지침 원문(부록 수록), 우연 보정 일치도.

버전 고정과 IRB — 한국 맥락

벤치마크 숫자는 Lessons from the Trenches 방식으로 인용하라: "lm-evaluation-harness vX.Y.Z(DOI), 태스크 버전, 프롬프트 원문, n-shot" — "KoBEST로 평가했다"는 2026년 기준 인용이 아니다. 그리고 한국 학위논문의 행정 관문: 저자 외의 사람이 라벨링하거나 사용자를 설문하면 생명윤리법상 IRB 심의(또는 심의면제 확인) 대상이다 — 면제도 IRB가 확인해야 하며 소급 승인은 사실상 불가. 소속 기관에 위원회가 없으면 공용 e-IRB(irb.or.kr). 완전 익명화된 서비스 로그만 쓰면 면제 논거가 강해지지만, 익명화 절차 자체를 데이터시트에 기록하라. 학위 심사와 KCI 저널 모두 IRB 번호를 점점 더 요구한다.

시리즈를 마치며

열한 편을 한 문장으로: sLM 평가의 엄밀함이란 — 체급에 맞는 벤치마크와 지표(①②③⑤⑦), 시드·검정·신뢰구간의 통계(④), 효율의 파레토 점(⑥), 데이터와 심판의 품질 증명(⑧⑨⑩), 그리고 전부를 재실행 가능하게 쓰는 것(⑪) — 각 선택마다 한 편의 인용으로 방어할 수 있게 만드는 일이다. 이 시리즈가 여러분의 실험 설계서이자, 심사장에서의 방패가 되길 바란다.

— sLM 평가 방법론 시리즈 ⑪ (완결)