LoRA 실전 ⑧ — 소비자 GPU에서 내 모델 평가하기

파인튜닝은 됐는데, 진짜 좋아졌을까? 벤치마크를 잘못 고르면 GPU 6시간을 태우고도 답을 못 얻는다. 소비자 하드웨어용 4단 검증 사다리 — 아래부터 순서대로 오르면 된다.

0단 — 공짜: eval loss (분 단위)

학습 데이터의 5-10%를 떼어 TRL의 eval_strategy="steps"로. Unsloth의 구체적 기준: train loss가 0.2 밑으로 = 과적합 신호, 0.5-1.0 = 건강. eval loss가 오르기 시작하면 조기 중단. loss 곡선 패턴 해독은 Google의 시각 가이드가 30초 만에 잡아준다. 이 단계를 통과 못 하면 벤치마크가 아니라 재학습이 답이다.

1단 — 빠른 한국어 지식 회귀 테스트 (분~수십 분)

lm-evaluation-harness로: haerae(1,538문항)나 kobest — 4090에서 몇 분, 무료 T4에서도 4-bit로 20-40분. 어댑터를 병합 없이 평가하는 것이 핵심: --model hf --model_args pretrained=BASE,peft=./my-adapter,load_in_4bit=True. "LoRA 후 한국어 지식이 깨졌나"를 가장 싸게 확인하는 방법.

2단 — 본 지식 평가 (수십 분~1-2시간)

2026년의 추천은 원본 KMMLU(35,030문항, 하룻밤 티어)가 아니라 KMMLU-Redux (2,587문항) — 유출 답·오류 문항을 정제한 2025년 재구축판이라 13.5배 빠르고 점수도 더 신뢰할 수 있다. 반직관 팁: 4지선다(log-likelihood) 태스크는 vLLM보다 hf 백엔드 + --batch_size auto가 빠르다(실측 207 req/s vs 26 it/s, issue #2418) — vLLM은 생성형 태스크에서만 이득. 그리고 첫 1분의 tqdm it/s를 보고 전체 시간을 외삽하라 — 6시간째에 12시간짜리였음을 깨닫지 말고.

3단 — 대화 품질 (LLM 심판, $0-15)

• KoMT-Bench (80문항×2턴, GPT-4 심판, ~$5-15) — 기준점 있음: Llama-3.1-8B 6.06, EXAONE-3.0-7.8B 8.92. 내 파인튜닝이 어디쯤인지 즉시 비교 가능. 한국어 아닌 답변에 감점하는 detector가 "LoRA 후 영어로 대답하는" 고전 실패를 잡아준다.
• LogicKor (42문항, ~$2-3, ~15분) — 커뮤니티 표준이었으나 리더보드 동결(포화·게이밍). 상대 비교용 새니티 체크로만.
• $0 옵션: keval-2 로컬 심판 — 24GB 카드에서 fp16, 8GB에서 4-bit로 도는 한국어 심판 모델. API 키 없이 before/after 상대 비교.

재현성 경고

HRET 논문의 발견: 연구실 간 한국어 평가 점수가 세팅 차이만으로 최대 10%p 벌어진다. before/after 비교는 반드시 하네스·템플릿·shot 수를 고정하고 하라. (KMMLU는 micro/macro 평균 차이도 함정.)

정리

한 줄 교훈: loss 곡선 → haerae → KMMLU-Redux → KoMT-Bench 순서로 올라가되, 각 단계를 통과했을 때만 다음 단계에 GPU 시간을 써라. 다음 글(완결): 이 모든 것을 돌릴 하드웨어를 확보하는 전략 — 전기료와 손익분기까지.

— LoRA 실전 시리즈 ⑧ / 다음 글(완결): 전력·발열·하드웨어 확보 전략