LLM 평가 방법론 ⑩ — 멀티모달 평가: 지식 점수와 "보는 능력"은 다르다

VLM(비전-언어 모델) 평가의 최대 반전: 대학 수준 벤치마크에서 80%대를 찍는 모델이, 인간이 눈 깜짝할 새 푸는 기초 지각 과제에서는 찍기 수준이다. 이 장은 그 두 함정을 중심으로 정리한다.

함정 1: 이미지 없이도 풀리는 문항

VLM 평가의 표준 MMMU(대학 수준 6개 분야, 문항 1.15만 개)는 GPT-4V 56%로 출발해 2025년 82~84%대로 포화됐다. 그런데 MMMU-Pro가 수술 과정에서 폭로한 것: 원본 문항의 상당수가 텍스트만 읽는 LLM이 이미지 없이 맞히는 문제였다. 그런 문항을 제거하고 선택지를 10개로 늘리고 질문을 스크린샷 안에 박자(vision-only), 같은 모델의 점수가 16.8~26.9%p 급락. "멀티모달 벤치마크 점수 상승"의 일부는 시각 능력이 아니었던 것이다. 같은 착시가 차트에서도: ChartQA 90%대 모델들이 실전 arXiv 차트로 만든 CharXiv의 추론 질문에서는 GPT-4o 47.1%로 추락(인간 80.5%).

함정 2: 기초 지각의 구멍

• MMVP (CVPR 2024, LeCun·Saining Xie) — CLIP 임베딩상 거의 같지만 실제로는 명백히 다른 이미지 쌍으로 시험: 방향·개수·색·시점 같은 9가지 기초 패턴에서 인간 95.7% vs GPT-4V 38.7%, 대부분의 오픈 모델은 무작위(25%) 이하. 원인은 비전 인코더(CLIP)의 구조적 맹점 — 스케일을 키워도 9개 중 7개 패턴은 해결 안 됨.
• BLINK (ECCV 2024) — 상대 깊이, 대응점 찾기 등 고전 CV 과제 14종. 인간 95.7% vs GPT-4V 51.3% — 무작위 대비 +13%p에 불과. "볼 수는 있지만 지각하지 못한다."

교훈: 지식형 점수(MMMU)와 지각 점수(MMVP/BLINK)는 분리된 축이다. 문서 OCR 제품에 쓸 모델을 MMMU 순위로 고르면 안 되는 이유.

세부 도메인과 리더보드

• 수학·차트·문서 — MathVista(주의: "인간 기준선 60.3%"는 전문가가 아니라 AMT 어노테이터다 — "인간 초월" 헤드라인의 근거를 항상 확인), ChartQA/DocVQA(포화, ANLS·relaxed accuracy라는 어휘만 배워가면 됨), CharXiv(현역).
• 비디오 — Video-MME: 11초~1시간 영상 900개. 길이가 늘수록 점수가 일관되게 하락(82.3%→67.5%)하고, 자막을 주면 점수가 크게 뛴다 — "영상 이해" 점수의 일부는 사실 텍스트 이해다. 자막 포함/미포함 분리 보고를 확인하라.
• 방법론 훔쳐가기 — MMBench의 CircularEval: 선택지를 회전시켜 같은 문제를 N번 묻고 전부 맞혀야 정답 — 위치 편향·찍기를 통계적으로 제거. 자체 객관식 평가에 그대로 쓸 만한 프로토콜.
• 2026년 순위 확인 창구 — 정적 집계는 OpenVLM Leaderboard(VLMEvalKit), 인간 선호는 LMArena Vision Arena. 정적 점수와 아레나 순위가 자주 어긋나므로 교차 확인이 실무 패턴. 다차원(편향·안전 포함)은 VHELM — 경량 모델이 능력 축은 비슷한데 편향 축에서만 유의미하게 나쁘다는 발견이 대표적.

한국어: MAUM AI의 KOFFVQA(자유 형식 VQA를 문항별 규칙 채점 — 심판 주관성 제거), K-Viscuit(한국 문화·시각 맥락 — 오픈 모델이 여기서 뚜렷이 약함), NCSOFT K-시리즈(K-MMBench 등 5종).

한 줄 교훈: VLM은 "Pro/재구성판 점수 + 지각 벤치마크 + 아레나"를 교차 확인하고, 인간 기준선이 누구인지 반드시 따져라.

— LLM 평가 방법론 시리즈 ⑩ / 다음 글(완결): 실무 파이프라인과 한국어 생태계