사용자 의도 분석 ④ — LLM 라우팅과 비용 최적화

모든 질문을 가장 비싼 모델에게 보내면 품질은 좋지만 파산한다. 모든 질문을 싼 모델에게 보내면 저렴하지만 품질이 무너진다. 그래서 질문마다 적절한 모델을 고르는 문제 — LLM 라우팅이 2023년 이후 하나의 독립된 연구·산업 분야가 됐다. 의도 분석이 왜 비용 기술인지가 이 분야에서 명확해진다: 질문의 의도와 난이도를 알면, 그 질문에 필요한 만큼만 지불할 수 있다.

핵심 논문

• FrugalGPT (2023, Stanford) — 이 분야의 어휘를 만든 논문. 프롬프트 적응, LLM 근사(캐싱·소형 대체), 그리고 캐스케이드(싼 모델 먼저 → 답이 부족하면 상위 모델로 승급)의 3전략을 정리하고, 벤치마크에서 GPT-4 정확도를 최대 98% 낮은 비용으로 달성했다.
• RouteLLM (2024, UC Berkeley/LMSYS) — 사람 선호 데이터(Chatbot Arena)로 강한 모델/약한 모델 중 하나를 고르는 라우터를 학습. 품질 손실 거의 없이 비용을 2배 이상 절감했고, 라우터가 모델 쌍이 바뀌어도 전이된다는 것을 보였다. 오픈소스.
• Hybrid LLM (2024, ICLR) — 답을 생성하기 전에 "작은 모델과 큰 모델의 품질 차이"를 예측해 쉬운 질문을 작은 모델로 보낸다. 큰 모델 호출을 40%까지 줄이면서 품질 유지. 사전(pre-generation) 라우팅의 대표.
• RouterBench (2024) — 라우팅 평가의 표준. 11개 LLM × 8개 태스크의 사전 계산된 40.5만 결과로, 모델을 다시 돌리지 않고 라우팅 정책을 평가할 수 있다. 비용-품질 파레토 곡선과 AIQ 지표라는 평가 방법론을 제공한다 — "라우팅이 좋아졌다"를 숫자로 말하는 법.
• MixLLM (2025, NAACL) — 라우팅을 컨텍스추얼 밴딧으로 정식화. 품질·비용에 지연시간까지 명시적으로 최적화하고, 서비스 중 모델 목록이 바뀌는 상황(현실!)을 다룬다. GPT-4 품질의 97%를 비용 24%로.
• RouterDC (2024, NeurIPS) — 쿼리 인코더와 모델 임베딩을 대조 학습으로 함께 배워, 1억 파라미터 미만의 라우터로 어떤 단일 모델보다 좋은 성능. 키워드 규칙 대신 임베딩 공간에서 질의→모델 적합도를 배우는 원리적 방법.
• Doing More with Less (2025, 서베이) — 라우팅 문헌 전체를 "결정이 어디서 일어나는가"(사전 라우터 vs 사후 캐스케이드)로 정리한 지도. 이 분야 입문 1순위.

도구와 산업

• semantic-router (Aurelio Labs) — LLM 호출 없이 임베딩 유사도로 밀리초 안에 의도 라우팅. 의도(Route)마다 대표 발화 예시를 등록하고 임계값을 조정하는 방식이라, 키워드 규칙의 직접적인 업그레이드 경로다.
• vLLM Semantic Router (2025) — 소형 BERT 분류기를 게이트웨이(Envoy)에 놓고 요청마다 백엔드 모델 선택 + 추론(reasoning) 모드 on/off까지 결정하는 프로덕션급 설계. "분류기를 모델 풀 앞에 세운다"가 업계 표준 아키텍처가 되었다는 증거.
• awesome-ai-model-routing — Not Diamond, Martian, OpenRouter 등 라우팅이 상용 서비스 카테고리가 된 현황과 문헌을 모은 목록. 업계 보고 기준 라우팅 도입으로 40~85% 비용 절감 사례가 흔하다.

정리

수렴한 구조는 두 가지다. 사전 라우팅(분류기가 생성 전에 모델을 고른다)과 캐스케이드(싸게 시도하고 채점 후 승급). 최신 라우터는 모두 1억 파라미터 미만의 작은 인코더거나 밴딧 정책이며, 키워드 규칙으로 라우팅하는 논문은 이제 없다. 평가도 정확도 하나가 아니라 비용-품질 파레토 곡선 + 지연시간 + 요청당 비용으로 한다. 다음 글은 라우팅의 특수하지만 중요한 경우 — "이 질문, 웹 검색이 필요한가?" — 를 다룬다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ④ / 다음 글: 검색 발동 판단 (Adaptive Retrieval)