벤치마크는 실력을 재는가 ④ — 벨레벨레라는 시험을 아십니까: Belebele 해부

MMLU는 다들 안다. 그런데 함께 인용되는 Belebele(벨레벨레)이 무엇인지 아는 사람은 의외로 드물다. 검색해 보면 한국 웹에는 이 시험에 대한 해설이 사실상 없다(한글 표기로 검색하면 축구선수가 나온다). 그래서 실물을 열어 본다.

시험지 실물

Belebele은 Meta가 2023년 공개한 다국어 독해 시험이다(arXiv 2308.16884, ACL 2024). 구조는 이렇다.

• FLORES-200 코퍼스에서 가져온 지문 488개에, 지문당 1~2개씩 총 900문항의 4지선다.
• 같은 900문항이 122개 언어 변형(구별 언어로는 115개)으로 존재한다 — 완전 병렬 109,800행. 한국어는 kor_Hang.
• 정답은 항상 지문 안에 있다. 생성 능력, 추론 깊이, 문화 지식, 긴 문맥은 전부 시험 범위 밖이다. 짧은 지문을 읽고 답을 찾는 능력, 그게 전부다.

제작 품질 관리는 성실했다 — 5라운드 반복 제작에 최종 라운드에서 약 20%를 폐기했고, 정답 분포 검정과 편향 베이스라인 점검까지 했다. 시험지 자체는 잘 만든 물건이다. 문제는 그다음이다.

출생의 비밀 — 문항은 전부 영어로 태어났다

Belebele의 900문항은 전부 영어로 작성된 뒤 번역업체(LSP)가 121개 언어로 옮긴 것이다. 지문 역시 FLORES-200 — 영어 위주 원문을 전문 번역한 코퍼스다. 논문 스스로 한계 절에 translationese(번역투)와 FLORES 원문의 번역 오류를 명시했다.

이게 무슨 뜻인가. Belebele 한국어판은 한국어 시험이 아니라, 영어 시험의 한국어 번역본이다. 이 시험의 한국어 점수가 재는 것은 "번역된 위키 문체의 한국어를 읽고 번역된 질문에 답하는 능력"이지, 실제 한국어 사용자가 쓰는 언어 — 조사·존대·생략·한자어 층위 — 의 처리 능력이 아니다. ③편에서 본 Global-MMLU의 발견("번역해도 미국 시험지")과 정확히 같은 구조다.

점수의 역사 — 그리고 사라진 보고

시점	모델	영어	한국어
2023 (논문)	GPT-3.5	87.7	71.8
2023 (논문)	Llama-2-70B	90.9	72.9
2024	EXAONE 3.0 7.8B	—	78.6
2025	Gemma-2-9b-it	93.3	—
(참고)	사람	97.6	—

2023년의 "어려운 시험"이 2년 만에 9B짜리 오픈 모델도 93점을 넘는 시험이 됐다. 고자원 언어에서는 포화다. 저자원 언어에서만 변별력이 남아 있는데, 그건 정확히 Meta가 이 시험을 만든 목적이다 — 프런티어의 실력 서열이 아니라 저자원 언어 커버리지 측정.

채택 계보도 시사적이다. 필자가 국내외 주요 테크리포트를 확인한 범위에서, Belebele을 보고한 국내 모델은 EXAONE 3.0(한국어 서브셋에서 당시 1위)과 DNA 1.0 둘이었고, EXAONE 3.5부터는 LG 자신도 이 시험을 표에서 뺐다. 국내 관행은 KMMLU·HAE-RAE·CLIcK·KoBALT — 한국어로 태어난 시험들 — 로 이동을 마쳤다. 해외 프런티어 리포트(Gemini·Gemma·Aya 등)에서도 2023년 이후 Belebele 보고를 찾지 못했다. 확인 못 한 것이 없다는 증명은 아니지만, 적어도 공개 보고 관행에서 이 시험이 사라진 것은 분명하다.

도구에는 죄가 없다

오해를 막기 위해: Belebele은 나쁜 벤치마크가 아니다. 122개 언어에 완전히 동일한 내용의 시험지를 제공하는 유일한 자원이고, 저자원 언어를 다루는 팀에게는 지금도 대체재가 없다. 스와힐리어와 한국어와 영어의 독해력을 같은 문항으로 비교할 수 있는 건 이 시험뿐이다.

문제는 인용 방식이다. "진짜 실력은 Belebele로 판단합니다"는 도구의 사용설명서를 거꾸로 읽은 문장이다. 저자원 언어 커버리지 스크리닝용으로 만들어진, 영어에서 번역된, 고자원 언어에서는 포화됐고, 제작사 진영조차 더 이상 보고하지 않는 독해 시험이다. 이걸로 2026년 한국어 모델의 "진짜 실력"을 판단한다는 것은 — 시험지의 어느 속성과도 맞지 않는다.

여기까지가 두 시험지의 해부다. 이제 시리즈의 후반부, 더 일반적인 질문으로 간다 — 벤치마크 점수라는 것이 도대체 무엇을 재고 있으며, 그 점수는 실제 효용을 얼마나 예측하는가. 다음 편은 벤치마크 무용론자들에게 나쁜 소식부터 전한다: 점수들은 놀랍도록 함께 움직인다.

— 벤치마크는 실력을 재는가 ④ / 다음 글: 점수들은 함께 움직인다 — 벤치마크가 실제로 재는 것