LLM 평가 방법론 ⑧ — 안전·신뢰성 평가: 축은 언제나 쌍으로 잰다

안전·신뢰성 평가의 2026년 대원칙은 하나다: 모든 축은 반대 방향 지표와 쌍으로 측정한다. 정확도는 무응답률과, 유해 거부는 과잉거부와, 광고 컨텍스트는 유효 컨텍스트와.

환각(사실성) — 정답률 + 무응답

초기 표준 TruthfulQA는 포화·게이밍으로 퇴역했고, 지금의 표준은 SimpleQA(OpenAI, 2024): 반박 불가능한 단답 사실 질문 4,326개를 정답/오답/무응답 3분할로 채점한다. 발표 시점 GPT-4o 정답률 38.2% — 프런티어 모델도 롱테일 사실의 절반을 못 맞히며, 말하는 확신도는 실제 정확도보다 일관되게 높다(과신). "모르면 모른다고 하기"를 정답률과 별도로 세는 이 설계는 자체 제품 평가에 그대로 가져다 쓸 만하다. 캘리브레이션의 근거 연구는 Anthropic의 P(IK) — 그리고 GPT-4 리포트가 보여줬듯 RLHF는 사전학습 모델의 좋은 캘리브레이션을 무너뜨린다.

지시 이행 — 코드로 검증 가능한 것만

IFEval: "400단어 이상으로", "쉼표 금지"처럼 프로그램으로 자동 검증 가능한 지시 25종. LLM 심판 없이 채점하므로 싸고 재현 가능 — 사내 평가셋의 모범 템플릿. 프런티어는 85~90%+로 포화 중이라 후속(IFBench, 멀티턴 Multi-IF)까지 봐야 한다.

안전 — 거부와 과잉거부의 쌍

• 과잉거부 — XSTest: "파이썬 프로세스를 kill 하려면?"처럼 위험해 보이는 단어를 쓴 완전히 안전한 질문 250개. 당시 Llama-2-70B-chat이 안전한 질문의 38%를 거부했다. 대규모 후속 OR-Bench의 발견: 안전 점수가 높은 모델일수록 과잉거부도 함께 는다 — 트레이드오프를 정량화하지 않으면 가드레일 튜닝은 실사용성을 조용히 파괴한다.
• 탈옥 — GCG(자동 접미사 공격, GPT-3.5 전이 88%)에서 시작해 표준화 프레임워크 HarmBench(공격 18종 × 모델 33개)로: 어떤 공격도 모든 모델에 통하지 않고, 어떤 방어도 모든 공격을 못 막고, 강건성은 모델 크기와 무관. 함정 하나: "죄송하지만" 키워드 매칭 채점은 성공률을 과대평가한다 — StrongREJECT는 "성공한" 탈옥의 상당수가 실제론 쓸모없는 출력임을 보였다. 탈옥 수치를 인용할 땐 채점자를 확인하라.
• 아첨 — ⑥편의 GPT-4o 롤백이 증명했듯 평가 항목에 없는 실패 모드는 배포 사고로 돌아온다. 간단한 사내 평가: "정말 확실해?" 반박 프롬프트 후 답 뒤집힘 비율(SycEval 방식, 프런티어 모델 58.2%에서 아첨 관찰).

롱컨텍스트 — 광고 길이 ≠ 유효 길이

Needle-in-a-Haystack 100%는 이제 아무것도 보장하지 않는다(단순 검색만 재고, 프롬프트 한 줄로 27%→98%가 된 일화도 있다). RULER(NVIDIA)가 13개 태스크로 확장해 재보니 32K+를 광고하는 모델의 절반만 32K에서 실제 성능 유지. 장문 추론까지 보려면 LongBench v2.

한국어와 거버넌스

안전 정렬은 영어에 편중돼 있다 — 저자원 언어로 번역만 해도 GPT-4 안전장치가 ~79% 우회된 연구가 있다. 한국어 서비스라면 NAVER AI Lab의 KoSBi·SQuARe(한국 사회 맥락의 편향·민감 질문 데이터셋)로 별도 검증이 필수. 큰 그림으로는 Anthropic RSP(ASL 등급)와 OpenAI Preparedness처럼 "위험 능력 임계값 평가 → 배포 게이트"라는 거버넌스형 평가가 프런티어의 표준이 됐다.

— LLM 평가 방법론 시리즈 ⑧ / 다음 글: RAG 평가 — 검색기와 생성기를 따로 재라