사용자 의도 분석 ③ — 대화형 의도 탐지와 벤치마크들

검색 질의가 아니라 대화형 AI(챗봇, 음성 비서)로 오면 의도 분석은 의도 탐지(intent detection)라는 이름의 독립된 분야가 된다. "내일 서울 날씨 알려줘"에서 의도(날씨 조회)와 슬롯(내일, 서울)을 뽑는 문제다. 30년 넘게 쌓인 이 분야의 벤치마크와 방법론은, 요즘 LLM 서비스가 사용자 질문을 분류할 때 그대로 재사용된다. 이번 글은 그 지도다.

벤치마크의 진화

• ATIS (1990) & SNIPS (2018) — 항공권 질의 21개 의도, 음성 비서 7개 의도. 거의 모든 의도 탐지 논문이 성능을 보고하는 두 고전 벤치마크지만, 의도 수가 적어 상용 서비스의 복잡성을 과소평가한다는 비판이 후속 벤치마크들을 낳았다.
• CLINC150 (2019, EMNLP) — 10개 도메인 150개 의도에 더해 어느 의도에도 속하지 않는 질문(Out-of-Scope)을 별도 클래스로 도입한 전환점. 분류기가 "모른다"를 아는지 측정하는 OOS 탐지를 표준 평가축으로 만들었다. 실서비스 분류기라면 반드시 봐야 할 벤치마크.
• BANKING77 (2020) — 은행 단일 도메인 안의 77개 세분 의도. 재미있는 결과: 고정된 문장 인코더 + 가벼운 분류기가 BERT 전체 미세조정을 few-shot 상황에서 이겼다. "더 큰 모델이 항상 답이 아니다"의 초기 증거.
• MASSIVE (2023, ACL) — 아마존이 공개한 51개 언어 병렬 NLU 데이터셋(18 도메인, 60 의도, 100만 발화). 한국어(ko-KR)가 포함되어 있어 한국어 의도 분류기의 사전학습·평가에 바로 쓸 수 있다.
• 3i4K (한국어) — 한국어 발화 6.1만 건을 평서문·질문·명령·수사의문·수사명령 등 7개 의도로 라벨링한 공개 코퍼스. 한국어는 어말어미가 의도를 결정하지 못하는 경우(억양 의존)가 많다는 것을 데이터로 보여준다 — 표면 형태만으로 의도를 판단하는 것의 위험을 한국어 맥락에서 입증하는 자원.

방법론: 인코더에서 LLM 하이브리드까지

• JointBERT (2019) — BERT 하나로 의도 분류와 슬롯 채우기를 동시에 학습하는 표준 베이스라인. 이후 거의 모든 논문이 이것과 비교한다.
• Weld et al. (2022, ACM CSUR) — 의도 탐지+슬롯 채우기 분야 전체를 정리한 38쪽 서베이. 이 분야에 입문한다면 첫 논문으로 추천.
• CPFT (2021, EMNLP) — 대조 학습(contrastive learning) 기반 few-shot 의도 탐지. 라벨이 클래스당 5~10개뿐일 때의 최강 계열로, 데이터가 적은 신생 서비스에 특히 실용적이다.
• Intent Detection in the Age of LLMs (2024, EMNLP Industry) — 아마존의 실무 보고. LLM은 정확도에서 미세조정된 소형 인코더를 따라잡지만 지연시간이 약 50배. 결론은 하이브리드: 쉬운 질문은 소형 분류기가, 불확실한 질문만 LLM이 처리하는 라우팅으로 LLM 비용의 절반에 정확도 대부분을 회수한다.
• KLUE (2021, NeurIPS) — 한국어 NLU 벤치마크 8종과 KLUE-BERT/RoBERTa. 한국어 의도 분류기를 만든다면 사실상의 표준 백본 인코더다.

정리

이 분야의 30년 결론도 결국 라우팅이다: 대부분의 트래픽은 작고 싼 인코더 분류기가 처리하고, 모호한 소수만 LLM으로 보낸다. 그리고 OOS 탐지(CLINC150)가 보여주듯, 좋은 분류기의 조건은 정답을 맞히는 능력만이 아니라 "이 질문은 내 분류 밖"이라고 말할 줄 아는 능력이다. 다음 글은 이 라우팅을 비용의 언어로 정식화한 분야 — FrugalGPT와 RouteLLM의 세계 — 다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ③ / 다음 글: LLM 라우팅과 비용 최적화