LLM 평가 방법론 ② — 고전 지표의 흥망: Perplexity·BLEU·ROUGE는 왜 버려졌나

LLM 심판(⑤편) 이전의 20년은 자동 지표의 시대였다. 그 지표들이 왜, 어떤 순서로 버려졌는지 알면 오늘의 평가 방법이 왜 이런 모양인지 이해된다. 이 장의 서사는 숫자 세 개로 요약된다: ROUGE-L 0.128 → BERTScore 0.225 → G-Eval 0.514 (사람 판단과의 상관).

원전 — n-gram 겹침의 시대

• BLEU (2002, IBM) — 기계번역 출력과 참조 번역의 n-gram precision. "참조 텍스트가 하나의 정답"이라는 가정 위에 서 있다. ROUGE (2004)는 요약용 recall 변형. 사람 평가가 너무 비싸던 시대에 연구 반복 속도를 극적으로 올려 2000~2010년대 NLP 실험 문화 자체를 만들었다.
• Perplexity — 다음 토큰 예측의 불확실성. 함정: 토크나이저·어휘가 다르면 모델 간 비교 자체가 무효이고, 같은 GPT-2에서도 측정 stride만 바꾸면 19.44→16.44로 흔들린다. 결정타는 InstructGPT(2022): 사람들은 1.3B 모델의 출력을 100배 큰 175B GPT-3보다 선호했다 — 언어모델링 손실이 좋다고 유용한 모델이 아니다.

비판의 계보 — 사망까지 20년

• 2006 — Callison-Burch et al.: BLEU 상승은 품질 향상의 필요조건도 충분조건도 아니다. 규칙기반 SYSTRAN이 사람 평가 상위권인데 BLEU에서는 통계 시스템에 밀린 사례.
• 2018 — Reiter 메타분석: 논문 34편의 BLEU-사람 상관 284개를 전수 조사. MT 시스템 진단 외 용도(요약·대화·문장 단위)는 타당성 증거 없음.
• 2020 — Tangled up in BLEU: 상위권 시스템 간 1~2 BLEU 차이는 사람 판단과 사실상 무상관. "BLEU +1.5로 SOTA" 류 주장의 통계적 근거 붕괴.
• 2021 — SummEval: 전문가 어노테이션으로 재평가하니 요약에서 ROUGE-L의 Spearman 상관은 0.128 — 사실상 0. ROUGE의 사망진단서.
• 2022 — WMT22 지표 공동과제 보고서 제목이 그대로 결론: "Stop Using BLEU – Neural Metrics Are Better and More Robust". BLEU의 본진(기계번역)에서의 공식 퇴출 권고.

후계자들

BERTScore(임베딩 유사도 매칭)는 ROUGE보다 낫지만 SummEval 기준 0.225로 여전히 낮았다. 살아남은 것은 사람 평가 점수로 직접 학습한 지표들 — BLEURT, 그리고 지금도 MT 1차 지표인 COMET/MetricX. 코드 쪽은 더 극명하다: 정답 코드와 오답 코드의 BLEU 분포가 겹쳐 구분이 안 됐고(Codex 논문), 단위 테스트 실행 기반 pass@k가 표준이 되며 CodeBLEU는 폐기됐다. 그리고 2023년 G-Eval이 GPT-4 채점으로 0.514를 찍으며 LLM 심판 시대가 열렸다 — 왜 업계 전체가 넘어갔는지는 이 숫자 하나로 설명된다.

한국어의 추가 함정

Google 공식 rouge-score 구현은 영숫자 외 문자를 전부 제거한다 — 한국어에 그대로 돌리면 조용히 무의미한 점수가 나온다(korouge가 이를 고친 포크). 더 근본적으로 한국어는 교착어라 "먹었다/먹는다/먹고"가 어절 n-gram으로는 겹침 0이다. 형태소 분석 후 계산해도 분석기 선택에 점수가 흔들린다. 한국어 평가에서 임베딩 지표·LLM 심판 선호가 더 강한 이유다.

한 줄 교훈: 표면 유사도는 "정답이 사실상 하나"인 태스크에서만 품질의 대리변수였다. 정답이 열려 있는 순간(요약·대화·코드) 상관은 0으로 붕괴한다.

— LLM 평가 방법론 시리즈 ② / 다음 글: 지식·추론 벤치마크의 계보 (MMLU → GPQA → HLE)