사용자 의도 분석 ⑧ — 복합 의도 탐지와 다중 라벨 평가, 그리고 되묻기

"고양이 그림 그려주고, 요즘 고양이 그림 트렌드도 검색해줘." — 한 문장, 두 의도. 실사용 질의에는 이런 복합 프롬프트가 흔한데, 단일 라벨 분류기는 하나를 버려야 한다. 이 문제를 다루는 분야가 복합 의도 탐지(multi-intent detection)다. 그리고 그 옆에는 미묘하게 다른 문제가 있다: 의도가 여러 개인 게 아니라 어느 쪽인지 모호한 질문. 이번 글은 이 두 갈래의 지도다.

복합 의도 탐지

• AGIF (2020, EMNLP Findings) — 복합 의도 분야의 표준 벤치마크 MixATIS/MixSNIPS를 만든 논문. 단일 의도 발화를 접속사로 이어붙여 복합 의도 데이터를 합성하는 제작법과, 의도-슬롯 상호작용 그래프 모델을 함께 제시했다. 평가 관례(정확 집합 일치 accuracy, 의도별 F1, 전체 semantic accuracy)도 여기서 굳어졌다.
• GL-GIN (2021, ACL) — 비자기회귀(non-autoregressive) 그래프 모델로 MixATIS/MixSNIPS 최고 성능을 내면서 11.5배 빠른 디코딩. 복합 의도를 토큰 단위 다중 라벨 투표로 한 번에 푸는 설계라, 지연시간이 생명인 실서비스에 시사점이 크다.
• MISCA (2023, EMNLP Findings) — 그래프 설계 대신 라벨 간 상관(co-attention)을 학습해 SOTA 갱신. "어떤 의도들이 함께 나타나는가"를 모델이 배우게 하는 접근.
• ECLM / Chain of Intent (2024→ACL 2025) — LLM은 복합 의도를 이해하는가? 하위 의도로 단계 분해(Chain of Intent)시키면 잘한다는 답. 학습 없이 프롬프트만으로 시험해 볼 수 있는 기법이라 실무 진입장벽이 낮다.
• 소형 LLM vs 지도 분류기 (2025) — 7B급 LLM의 few-shot 다중 라벨 의도 분류를 BERT 지도 분류기와 비교: 여전히 지도 분류기가 이긴다. micro/macro F1, Hamming loss, Jaccard에 추론 시간·VRAM까지 재는 평가 설계가 모범적이다.
• Fan & Lin (2007) — 다중 라벨의 고전: 라벨별 점수를 결정으로 바꾸는 임계값(threshold)을 어떻게 정할 것인가. 전역 임계값 vs 라벨별 튜닝(SCut)의 트레이드오프 분석. 모든 다중 라벨 시스템이 암묵적으로 갖고 있는 결정 계층을 명시적으로 설계하게 해 준다.
• 복합 의도 SLU 서베이 (2025) — 이 하위 분야 최초의 전용 서베이. 디코딩 패러다임별 정리와 벤치마크 통합표. 입문 1순위.

복합이 아니라 모호할 때 — 되묻기

• AmbigQA (2020, EMNLP) — 자연 질문의 절반 이상이 사실 모호하다는 실증. 모호한 질문의 가능한 해석을 전부 열거하고 각각을 명확한 질문으로 재작성하는 과제를 정의했다.
• CLAM (2022) — LLM에게 (1) 이 질문이 모호한지 판정시키고 (2) 모호할 때만 되묻게 하는 선택적 명확화. 잘못 추측해서 비싼 처리(불필요한 검색·생성)를 하는 것보다 싸게 한 번 되묻는 게 낫다는 설계 원리.
• CLAMBER (2024, ACL) — 모호성의 유형 분류(어휘적·의미적·맥락 결여 등)와 벤치마크. 경고적 발견: 현재 LLM들은 자기가 받은 질문이 모호하다는 것 자체를 잘 감지하지 못한다. 모호성 감지는 명시적 메커니즘으로 설계해야 한다는 뜻.
• Qulac / ClariQ (2019-2020, SIGIR) — 검색 쪽의 되묻기 전통. 특히 ClariQ의 "이 질의는 명확화가 필요한가" 1~4점 라벨은, 의도 라벨 옆에 붙일 수 있는 실용적인 추가 출력이다.

정리

실무 지침으로 정리하면: 복합 의도(여러 개가 다 진짜)는 모두 실행하고, 모호성(어느 하나인지 불확실)은 되묻거나 안전한 기본값으로 처리한다. 이 둘을 구분하는 것 자체가 분류기의 출력이어야 하며, 평가는 단일 정확도가 아니라 다중 라벨 지표(집합 일치, 라벨별 F1, Hamming)와 임계값 설계까지 포함해야 한다. 다음 글은 이 모든 것의 발밑 — 한국어 형태소 분석과 토크나이징 — 이다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ⑧ / 다음 글: 한국어 형태소 분석과 토크나이징 전략

사용자 의도 분석 ⑦ — 한국어 자원과 교육 분야 적용

지금까지의 문헌은 대부분 영어권 이야기였다. 한국어로 의도 분석을 하려면, 그리고 그것을 교육(에듀테크) 분야에 적용하려면 무엇이 있는가? 생각보다 많다 — 정부가 만든 대규모 라벨 데이터부터, 학생 질문 분류의 교육학적 전통까지. 이번 글은 한국어 × 교육의 자원 지도다.

한국어 공개 자원

• AI Hub 용도별 목적대화 데이터 — 상담·주문·예약·문의응답 등 목적 지향 한국어 대화 대규모 코퍼스. 각 질문 턴에 메인 의도/서브 의도 계층 라벨과 화행(주장·지시·약속·표현) 라벨이 붙어 있다. 계층형 의도 분류 체계를 한국어로 학습·평가할 수 있는 가장 가까운 공개 자원. (한국 거주 연구자 무료, 신청 승인 필요)
• AI Hub 감성 AI 튜터 데이터 — 중학생이 국어·수학을 챗봇으로 학습하며 남긴 질문-응답 데이터. 수학 질문이 정답 여부·이해도·감정의 하위 상태로 분해되어 라벨링되어 있다. 실제 한국 학생의 질문 코퍼스라는 점에서 희귀하다.
• KLUE + 3i4K — 시리즈 ③에서 다룬 한국어 기본기. KLUE-RoBERTa가 분류기 백본의 사실상 표준이고, 3i4K는 한국어 어말어미의 의도 미결정성을 보여주는 근거 데이터다.
• KoBERT + LLaMA2 역사교육 챗봇 (2024, KCI) — 학생 질문의 의도를 KoBERT로 먼저 분류한 뒤, 파인튜닝된 LLaMA2로 답을 생성하는 국내 연구. "경량 분류기가 생성 모델 앞을 지킨다"는 이 시리즈의 핵심 패턴이 한국 교육 도메인에서 환각 억제 목적으로 구현된 사례.
• 비대면 강의평 토픽 모델링 + 분류기 (2021, KCI) — LDA로 강의평에서 만족 요인 토픽을 발견하고, 그 토픽을 라벨로 삼아 KoBERT 분류기(F1 ≈ 0.84)를 학습시킨 국내 연구. "비지도 토픽 발견 → 라벨 체계화 → 지도 분류기"라는 파이프라인의 한국어 실증.

교육 분야: 학생 질문 분류의 전통

• Bloom 분류 자동화 (2021, ACE) — 프로그래밍 시험 문제를 Bloom의 교육목표분류(기억-이해-적용-분석-평가-창조)로 분류하는 BERT 모델이 kappa 0.93에 도달. 교육학 이론에 근거한 분류체계도 트랜스포머로 자동화된다는 것을 보인 기준점.
• Cross-Dataset Bloom 분류 (2026) — 지도학습 분류기와 프롬프트 LLM을 Bloom 분류에서 데이터셋 교차 비교. 학습 분포 밖에서 어느 쪽이 잘 버티는지를 다룬다 — 분류기를 실서비스에 내보낼 때 반드시 부딪히는 질문.
• "How Do I ...?" (2026) — 실제 학습 맥락에서 학생이 LLM 챗봇에 보낸 6,113개 메시지를 4개 기존 질문 분류체계로 분류한 연구. 발견 둘: 절차적(procedural) 질문이 압도적이고, 기존 분류체계들은 여러 의도가 섞인 복합 프롬프트에서 무너진다. 다음 글(복합 의도)의 예고편이기도 하다.
• StudyChat (2025) — 대학 AI 수업 한 학기 동안의 학생-ChatGPT 대화 로그를 의도 라벨과 함께 공개. 실서비스 로그를 만지기 전에 분류체계를 파일럿할 수 있는 공개 학생 질문 코퍼스이자, 라이브 서비스 로그를 윤리적으로 공개한 선례.

정리

한국어 의도 분류는 "KLUE-RoBERTa 백본 + AI Hub 계층 의도 데이터"라는 실무 조합이 성립해 있고, 교육 분야는 Bloom 분류라는 이론적 전통이 트랜스포머·LLM 시대로 이식되는 중이다. 그리고 2026년의 최신 발견 — 학생 질문은 절차적이고 복합적이라 기존 분류체계가 깨진다 — 은 다음 글의 주제로 이어진다: 한 질문에 여러 의도가 섞여 있을 때 어떻게 하는가?

— 사용자 의도 분석과 LLM 라우팅 시리즈 ⑦ / 다음 글: 복합 의도 탐지와 다중 라벨 평가

사용자 의도 분석 ⑥ — 실사용 로그 데이터셋과 약지도 라벨링

의도 분류기를 만들려면 결국 데이터가 필요하다. 사람들이 AI에게 실제로 뭘 물어보는지, 그리고 그 질문에 어떤 의도 라벨을 붙일지. 다행히 지난 2년 사이 실사용 채팅 로그가 대규모로 공개됐고, 손으로 라벨링하지 않고 라벨을 만드는 방법론(약지도, weak supervision)도 성숙했다. 이번 글은 그 데이터와 방법의 지도다.

공개된 실사용 로그

• LMSYS-Chat-1M (ICLR 2024) — Vicuna 데모·Chatbot Arena에서 수집한 25개 LLM과의 실제 대화 100만 건. 사람들이 챗봇에 실제로 입력하는 문장의 분포를 볼 수 있는 대표 코퍼스로, 토픽 클러스터 분석 사례까지 논문에 포함되어 있다. (HuggingFace, 연구 라이선스)
• WildChat-1M (ICLR 2024) — 무료 GPT-3.5/4 사용권을 대가로 명시적 동의를 받고 수집한 ChatGPT 대화 100만 건(68개 언어). 수집 설계 자체(옵트인 동의, IP 해시화)가 로그 연구 윤리의 모범 사례로 인용된다.
• ShareGPT (2023) — 브라우저 확장으로 사용자들이 자발 공유한 대화 5~9만 건. 역사적으로 중요하지만 동의 체계와 라이선스가 불분명한 반면교사이기도 하다.
• How People Use ChatGPT (2025, NBER) — 7억 주간 사용자에서 표본한 100만 대화를 프라이버시 보존 분류기로 분석한 최대 규모 사용 연구. Asking/Doing/Expressing 축과 7개 주제 범주를 제시했고, Practical Guidance·정보 탐색·글쓰기가 사용의 약 80%를 차지한다는 것을 보였다.

로그에서 분류체계를 만드는 법

• Clio (2024, Anthropic) — 사람이 원문을 읽지 않고도 수백만 대화를 LLM으로 요약→임베딩→계층 군집해 상향식 사용 분류체계를 만드는 시스템. 최소 군집 크기, 다단계 익명화 등 프라이버시 장치 설계가 핵심 기여다. 로그 기반 분류체계 구축의 청사진.
• TnT-LLM (2024, KDD — Microsoft) — 2단계 파이프라인: (1) 비싼 LLM이 로그에서 라벨 분류체계를 생성·정제하고, (2) LLM이 의사라벨을 붙여 싸고 빠른 소형 분류기를 학습시킨다. Bing Copilot 로그에서 검증. "LLM은 오프라인 데이터 생성기로, 서빙은 소형 모델로"라는 현재 표준 패턴의 정식화.

라벨을 공짜로 얻는 법 — 약지도

• Snorkel (2017, VLDB) — 데이터 프로그래밍의 원전. 전문가가 쓴 노이즈 있는 라벨링 함수들(키워드 규칙, 휴리스틱)의 일치/불일치만으로 각 함수의 신뢰도를 학습해 확률적 학습 라벨을 만든다. 이미 갖고 있는 키워드 규칙을 "분류기"가 아니라 "라벨링 함수"로 재활용하는 발상의 전환.
• Naturally Occurring Feedback (2024) — 사람-LLM 대화의 최대 30%에 자발적 피드백(고맙다는 말, 정정, 재질문, 불평)이 들어 있으며 이를 자동 추출해 학습에 쓸 수 있음을 보였다. 사용자 행동이 곧 무료 라벨이라는 실증.
• 후속 질의와 만족도 (2024, SIGIR 워크숍 — KAIST·네이버) — 한국 상용 대화형 검색(Cue:)의 실사용 로그로 후속 질의 패턴 18종(7개 동기 × 11개 행동)을 도출하고, 어떤 패턴이 불만족 신호인지 밝혔다. 한국어 상용 서비스 로그 연구의 드문 공개 사례.
• User Feedback: Noisy as a Learning Signal (2025, EMNLP) — 균형추. 재질문·불평 같은 암묵 피드백은 사용자를 이해하는 렌즈로는 훌륭하지만 학습 신호로는 노이즈가 크다는 것을 정량화했다. 행동 신호를 정답으로 그대로 믿지 말고 가중치를 학습하라는 경고.
• Trust No Bot (2024, COLM) — WildChat의 개인정보 노출 감사. 번역·코드 편집처럼 예상 밖의 맥락에서 PII가 새어 나오고, 정규식/NER 기반 스크러빙만으로는 건강·관계 같은 민감 주제를 못 거른다는 것을 보였다. 로그를 다루는 모든 연구의 필독 경고문.

정리

파이프라인은 정립됐다: 실로그 수집(동의·익명화 설계) → LLM으로 분류체계 상향 도출(Clio, TnT-LLM) → 기존 규칙·행동 신호를 약지도 라벨로 결합(Snorkel) → 소형 분류기로 증류. 수작업 라벨링은 이제 골드 평가셋을 만들 때만 쓴다. 다음 글은 이 모든 것의 한국어 사정 — 공개 한국어 데이터셋과 교육 분야 적용 — 이다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ⑥ / 다음 글: 한국어 자원과 교육 분야 적용

사용자 의도 분석 ⑤ — 이 질문, 검색이 필요한가 (Adaptive Retrieval)

RAG(검색 증강 생성)를 쓰는 서비스가 곧 마주치는 질문: "이 질문, 검색이 필요한가?" 모든 질문에 검색을 붙이면 비용과 지연이 늘 뿐 아니라 — 놀랍게도 — 답이 나빠지는 경우도 있다. 모델이 이미 아는 것을 검색 결과가 오염시키기 때문이다. 그래서 '언제 검색할 것인가(when to retrieve)'는 독립된 연구 분야가 됐다. 이번 글은 그 지형도다.

네 가지 트리거 계열

• Adaptive-RAG (2024, NAACL — KAIST) — 작은 분류기가 질문의 복잡도를 예측해 검색 없음 / 1회 검색 / 다단계 검색 중 하나로 라우팅한다. 훈련 라벨은 "모델이 검색 없이 맞혔는가"에서 자동으로 만든다(수작업 라벨링 불필요). 질의 측 분류 계열의 대표이자, 국내(KAIST) 연구라는 점도 반갑다.
• Self-RAG (2024, ICLR) — 모델 자신이 특수 토큰(Retrieve/IsRel/IsSup/IsUse)을 출력하며 필요할 때만 검색하고 자기 답을 비평한다. 외부 분류기 없이 모델 내부에서 검색 결정을 내리는 계열의 대표.
• FLARE (2023, EMNLP) — 긴 답을 생성하면서 다음 문장을 초안으로 써 보고, 토큰 확신도가 낮으면 그 문장을 검색어로 삼아 검색 후 다시 쓴다. 학습 없이 쓸 수 있는 가장 단순한 불확실성 기반 트리거.
• PopQA / Adaptive Retrieval (2023, ACL) — 이 분야의 출발점. LLM은 유명한 사실은 잘 알지만 롱테일 지식에서 무너지며, 엔티티의 인기도(위키 조회수)라는 초저가 신호만으로 검색 여부를 정해도 정확도 손실 없이 검색 비용을 크게 줄일 수 있음을 보였다.

정교화와 평가

• SKR (2023, EMNLP Findings) — "검색이 오히려 해가 되는 질문"의 존재를 실증. 과거 질문들에 대해 검색 유/무 성능을 비교해 자기지식(self-knowledge) 경계를 배우고, 새 질문은 kNN으로 그 경계 안팎을 판정한다. 로그가 쌓이는 서비스라면 바로 응용할 수 있는 아이디어.
• UAR (2024, EMNLP Findings) — 검색 결정을 의도(사용자가 외부 정보를 원하는가) / 지식 필요성 / 시의성 / 자기지식의 4개 직교 기준으로 분해하고, 각각을 초경량 분류기로 판정해 결정 트리로 결합. 검색 트리거를 원리적으로 설계하는 청사진.
• RetrievalQA + TA-ARE (2024, ACL Findings) — 검색 필요성 판단 자체를 평가하는 벤치마크. 현재 날짜를 프롬프트에 넣어주는 것만으로 시의성 질문의 검색 판단이 크게 좋아진다는 실용적 발견(TA-ARE)도 담고 있다.
• AdaRAGUE (2025, ACL) — 35개 적응형 검색 기법의 대규모 비교 연구. 결론이 통쾌하다: 싼 불확실성 추정 트리거가 복잡한 파이프라인과 정확도는 비슷하면서 LM·검색 호출은 훨씬 적다. 평가에서 LM 호출 수·검색 호출 수·지연시간을 정확도와 동급 지표로 다루는 방법론도 그대로 배울 만하다.
• FreshQA / FreshPrompt (2024, ACL Findings) — 시의성의 표준 분류: 답이 절대 안 변하는 질문 / 천천히 변하는 질문 / 빨리 변하는 질문 / 거짓 전제 질문. 모든 LLM이 '빨리 변하는' 질문에서 무너지며, 잘 구성된 실시간 검색 결과를 넣으면 크게 회복된다. "실시간 검색이 필요한 질문"을 키워드가 아니라 원리로 정의하는 방법.

정리

트리거 신호는 네 계열로 수렴한다: 질의 측 분류(복잡도·의도·시의성), 모델 자기지식 탐침(로짓·은닉 상태), 초저가 프록시(엔티티 인기도, 소형 초안 모델), 모델 내장 결정(특수 토큰·확신도). 그리고 2025년의 메타 연구가 보여주듯, 단순한 트리거가 이미 충분히 강하다 — 중요한 것은 트리거의 존재 자체다. 검색을 무조건 켜는 것은 비용에도 품질에도 손해다. 다음 글은 이 모든 분류기를 학습시킬 데이터 이야기 — 실사용 채팅 로그 데이터셋과 약지도 라벨링 — 다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ⑤ / 다음 글: 실사용 로그 데이터셋과 약지도 라벨링

사용자 의도 분석 ④ — LLM 라우팅과 비용 최적화

모든 질문을 가장 비싼 모델에게 보내면 품질은 좋지만 파산한다. 모든 질문을 싼 모델에게 보내면 저렴하지만 품질이 무너진다. 그래서 질문마다 적절한 모델을 고르는 문제 — LLM 라우팅이 2023년 이후 하나의 독립된 연구·산업 분야가 됐다. 의도 분석이 왜 비용 기술인지가 이 분야에서 명확해진다: 질문의 의도와 난이도를 알면, 그 질문에 필요한 만큼만 지불할 수 있다.

핵심 논문

• FrugalGPT (2023, Stanford) — 이 분야의 어휘를 만든 논문. 프롬프트 적응, LLM 근사(캐싱·소형 대체), 그리고 캐스케이드(싼 모델 먼저 → 답이 부족하면 상위 모델로 승급)의 3전략을 정리하고, 벤치마크에서 GPT-4 정확도를 최대 98% 낮은 비용으로 달성했다.
• RouteLLM (2024, UC Berkeley/LMSYS) — 사람 선호 데이터(Chatbot Arena)로 강한 모델/약한 모델 중 하나를 고르는 라우터를 학습. 품질 손실 거의 없이 비용을 2배 이상 절감했고, 라우터가 모델 쌍이 바뀌어도 전이된다는 것을 보였다. 오픈소스.
• Hybrid LLM (2024, ICLR) — 답을 생성하기 전에 "작은 모델과 큰 모델의 품질 차이"를 예측해 쉬운 질문을 작은 모델로 보낸다. 큰 모델 호출을 40%까지 줄이면서 품질 유지. 사전(pre-generation) 라우팅의 대표.
• RouterBench (2024) — 라우팅 평가의 표준. 11개 LLM × 8개 태스크의 사전 계산된 40.5만 결과로, 모델을 다시 돌리지 않고 라우팅 정책을 평가할 수 있다. 비용-품질 파레토 곡선과 AIQ 지표라는 평가 방법론을 제공한다 — "라우팅이 좋아졌다"를 숫자로 말하는 법.
• MixLLM (2025, NAACL) — 라우팅을 컨텍스추얼 밴딧으로 정식화. 품질·비용에 지연시간까지 명시적으로 최적화하고, 서비스 중 모델 목록이 바뀌는 상황(현실!)을 다룬다. GPT-4 품질의 97%를 비용 24%로.
• RouterDC (2024, NeurIPS) — 쿼리 인코더와 모델 임베딩을 대조 학습으로 함께 배워, 1억 파라미터 미만의 라우터로 어떤 단일 모델보다 좋은 성능. 키워드 규칙 대신 임베딩 공간에서 질의→모델 적합도를 배우는 원리적 방법.
• Doing More with Less (2025, 서베이) — 라우팅 문헌 전체를 "결정이 어디서 일어나는가"(사전 라우터 vs 사후 캐스케이드)로 정리한 지도. 이 분야 입문 1순위.

도구와 산업

• semantic-router (Aurelio Labs) — LLM 호출 없이 임베딩 유사도로 밀리초 안에 의도 라우팅. 의도(Route)마다 대표 발화 예시를 등록하고 임계값을 조정하는 방식이라, 키워드 규칙의 직접적인 업그레이드 경로다.
• vLLM Semantic Router (2025) — 소형 BERT 분류기를 게이트웨이(Envoy)에 놓고 요청마다 백엔드 모델 선택 + 추론(reasoning) 모드 on/off까지 결정하는 프로덕션급 설계. "분류기를 모델 풀 앞에 세운다"가 업계 표준 아키텍처가 되었다는 증거.
• awesome-ai-model-routing — Not Diamond, Martian, OpenRouter 등 라우팅이 상용 서비스 카테고리가 된 현황과 문헌을 모은 목록. 업계 보고 기준 라우팅 도입으로 40~85% 비용 절감 사례가 흔하다.

정리

수렴한 구조는 두 가지다. 사전 라우팅(분류기가 생성 전에 모델을 고른다)과 캐스케이드(싸게 시도하고 채점 후 승급). 최신 라우터는 모두 1억 파라미터 미만의 작은 인코더거나 밴딧 정책이며, 키워드 규칙으로 라우팅하는 논문은 이제 없다. 평가도 정확도 하나가 아니라 비용-품질 파레토 곡선 + 지연시간 + 요청당 비용으로 한다. 다음 글은 라우팅의 특수하지만 중요한 경우 — "이 질문, 웹 검색이 필요한가?" — 를 다룬다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ④ / 다음 글: 검색 발동 판단 (Adaptive Retrieval)

사용자 의도 분석 ③ — 대화형 의도 탐지와 벤치마크들

검색 질의가 아니라 대화형 AI(챗봇, 음성 비서)로 오면 의도 분석은 의도 탐지(intent detection)라는 이름의 독립된 분야가 된다. "내일 서울 날씨 알려줘"에서 의도(날씨 조회)와 슬롯(내일, 서울)을 뽑는 문제다. 30년 넘게 쌓인 이 분야의 벤치마크와 방법론은, 요즘 LLM 서비스가 사용자 질문을 분류할 때 그대로 재사용된다. 이번 글은 그 지도다.

벤치마크의 진화

• ATIS (1990) & SNIPS (2018) — 항공권 질의 21개 의도, 음성 비서 7개 의도. 거의 모든 의도 탐지 논문이 성능을 보고하는 두 고전 벤치마크지만, 의도 수가 적어 상용 서비스의 복잡성을 과소평가한다는 비판이 후속 벤치마크들을 낳았다.
• CLINC150 (2019, EMNLP) — 10개 도메인 150개 의도에 더해 어느 의도에도 속하지 않는 질문(Out-of-Scope)을 별도 클래스로 도입한 전환점. 분류기가 "모른다"를 아는지 측정하는 OOS 탐지를 표준 평가축으로 만들었다. 실서비스 분류기라면 반드시 봐야 할 벤치마크.
• BANKING77 (2020) — 은행 단일 도메인 안의 77개 세분 의도. 재미있는 결과: 고정된 문장 인코더 + 가벼운 분류기가 BERT 전체 미세조정을 few-shot 상황에서 이겼다. "더 큰 모델이 항상 답이 아니다"의 초기 증거.
• MASSIVE (2023, ACL) — 아마존이 공개한 51개 언어 병렬 NLU 데이터셋(18 도메인, 60 의도, 100만 발화). 한국어(ko-KR)가 포함되어 있어 한국어 의도 분류기의 사전학습·평가에 바로 쓸 수 있다.
• 3i4K (한국어) — 한국어 발화 6.1만 건을 평서문·질문·명령·수사의문·수사명령 등 7개 의도로 라벨링한 공개 코퍼스. 한국어는 어말어미가 의도를 결정하지 못하는 경우(억양 의존)가 많다는 것을 데이터로 보여준다 — 표면 형태만으로 의도를 판단하는 것의 위험을 한국어 맥락에서 입증하는 자원.

방법론: 인코더에서 LLM 하이브리드까지

• JointBERT (2019) — BERT 하나로 의도 분류와 슬롯 채우기를 동시에 학습하는 표준 베이스라인. 이후 거의 모든 논문이 이것과 비교한다.
• Weld et al. (2022, ACM CSUR) — 의도 탐지+슬롯 채우기 분야 전체를 정리한 38쪽 서베이. 이 분야에 입문한다면 첫 논문으로 추천.
• CPFT (2021, EMNLP) — 대조 학습(contrastive learning) 기반 few-shot 의도 탐지. 라벨이 클래스당 5~10개뿐일 때의 최강 계열로, 데이터가 적은 신생 서비스에 특히 실용적이다.
• Intent Detection in the Age of LLMs (2024, EMNLP Industry) — 아마존의 실무 보고. LLM은 정확도에서 미세조정된 소형 인코더를 따라잡지만 지연시간이 약 50배. 결론은 하이브리드: 쉬운 질문은 소형 분류기가, 불확실한 질문만 LLM이 처리하는 라우팅으로 LLM 비용의 절반에 정확도 대부분을 회수한다.
• KLUE (2021, NeurIPS) — 한국어 NLU 벤치마크 8종과 KLUE-BERT/RoBERTa. 한국어 의도 분류기를 만든다면 사실상의 표준 백본 인코더다.

정리

이 분야의 30년 결론도 결국 라우팅이다: 대부분의 트래픽은 작고 싼 인코더 분류기가 처리하고, 모호한 소수만 LLM으로 보낸다. 그리고 OOS 탐지(CLINC150)가 보여주듯, 좋은 분류기의 조건은 정답을 맞히는 능력만이 아니라 "이 질문은 내 분류 밖"이라고 말할 줄 아는 능력이다. 다음 글은 이 라우팅을 비용의 언어로 정식화한 분야 — FrugalGPT와 RouteLLM의 세계 — 다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ③ / 다음 글: LLM 라우팅과 비용 최적화

사용자 의도 분석 ② — 단일 키워드의 함정, 다어절 용어와 토픽 모델

한국어에서 '시'라는 한 어절은 시(poem)일 수도, 시각(時)일 수도, 도시 이름의 일부일 수도 있다. 검색어나 챗봇 질문처럼 짧은 텍스트에서 단일 키워드를 의도의 신호로 쓰면 이런 모호성이 그대로 오분류가 된다. 지난 글에서 본 "단일 키워드 규칙의 늪"에 대한 학계의 오래된 처방이 있다: 단어 하나가 아니라 다어절(multi-word) 용어를 신호로 써라. 이번 글은 그 계보다 — 용어 추출(term extraction)에서 토픽 모델, 그리고 오늘날의 임베딩 기반 도구까지.

다어절 용어 추출의 계보

• Frantzi & Ananiadou, C-value/NC-value (2000) — 다어절 전문용어 자동 인식의 고전. 품사 패턴(언어적 필터)과 통계적 termhood 점수를 결합하고, 'floating point arithmetic'과 그 부분열 'point arithmetic'을 구분하는 중첩 용어 처리를 도입했다. 25년이 지난 지금도 모든 용어 추출 연구의 기준선(baseline)이다.
• 우호성·김자미·이원규 (2021, 한국컴퓨터교육학회) — LDA 토픽 모델의 결과가 서로 약하게 연관된 단일 단어들로 제시될 때 생기는 해석 모호성을 지적하고, 복합 어절을 포함한 전문용어를 식별해 토픽과 함께 제시함으로써 해석 가능성을 높이자고 제안한 국내 연구. 단일 단어의 모호성 문제를 한국어 맥락에서 정면으로 다룬다.
• Blei & Lafferty, Turbo Topics (2009) — 토픽 모델과 다어절 표현을 잇는 첫 대형 다리. LDA를 돌린 뒤 토픽별로 통계적으로 유의한 n-gram을 찾아 보여주면, 상위 단어 목록보다 토픽의 의미가 훨씬 잘 전달된다는 것을 보였다.
• El-Kishky et al., ToPMine/PhraseLDA (2014, VLDB) — 구(phrase)를 사후 시각화가 아니라 모델 안으로 넣었다. 문서를 먼저 구 단위로 분할한 뒤, 한 구에 속한 단어들이 같은 토픽을 갖도록 제약한다. "bag-of-words보다 bag-of-phrases"가 사람에게 더 해석 가능하다는 것을 대규모로 입증했다.
• Grootendorst, BERTopic (2022) — 현재의 기본값. SBERT 임베딩 → UMAP → HDBSCAN 군집 → c-TF-IDF로 토픽 표현을 뽑는 파이프라인으로, 다국어 임베딩 모델을 쓰면 한국어에도 바로 적용된다. n-gram(다어절) 토픽 표현을 기본 지원한다.
• Lau et al. (2014, EACL) & Röder et al. (2015, WSDM) — "해석 가능성이 좋아졌다"를 숫자로 만드는 방법. NPMI와 C_v라는 토픽 일관성(coherence) 지표가 사람의 해석 가능성 판단과 가장 잘 상관함을 보였고, gensim 등에 구현되어 있다. 분류 정확도 외에 해석 가능성을 정량 평가할 수 있게 해 주는 도구다.
• KeyBERT + PatternRank (2022) — 실무용 키프레이즈 추출. 문서와 후보 n-gram을 임베딩해 유사도로 랭킹하는데, PatternRank는 품사 패턴으로 후보를 거르면 더 좋아진다는 것을 보였다 — C-value의 "언어적 필터가 중요하다"는 통찰이 신경망 시대에 그대로 재현된 셈이다.
• 복합명사 추출 연구 (2021, 한국컴퓨터정보학회) — 한국어는 '이미지생성', '실시간검색'처럼 개념이 복합명사로 나타나는데 표준 형태소 분석기는 이를 조각내 버린다. 형태소 분석 결과를 재조합해 복합명사 후보를 만들고 말뭉치 빈도로 선별하는 방법을 제시한 국내 연구 계열.

정리

계보는 깨끗한 하나의 곡선이다: 언어적 필터 + 통계(C-value) → 토픽 모델과의 결합(Turbo Topics, PhraseLDA) → 임베딩 기반 도구(BERTopic, KeyBERT). 그리고 "다어절이 단일 단어보다 낫다"는 주장은 이제 NPMI/C_v 같은 지표로 정량 검증까지 가능하다. 다음 글은 이 신호들을 소비하는 쪽 — 대화형 AI의 의도 탐지 벤치마크(CLINC150, BANKING77, 그리고 한국어 자원들) — 을 다룬다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ② / 이전 글: 검색 질의 의도 분류의 고전 / 다음 글: 대화형 의도 탐지와 벤치마크

사용자 의도 분석 ① — 검색 질의 의도 분류의 고전

사용자가 검색창이나 AI 챗봇에 입력하는 문장은 짧고, 생략이 많고, 여러 의도가 섞여 있다. 이 비정형 입력에서 "이 사람이 지금 무엇을 원하는가"를 알아내는 것이 사용자 의도 분석(user intent analysis)이다. 의도를 정확히 알면 검색 엔진은 랭킹 전략을 바꾸고, AI 서비스는 질문에 맞는 모델과 도구만 골라 호출해 비용을 줄인다. 이 시리즈는 의도 분석과 LLM 라우팅을 공부하려는 분들을 위해 핵심 문헌을 주제별로 정리한다. 첫 회는 모든 논의의 출발점, 웹 검색 질의 의도 분류의 고전이다.

고전 계보 — 20년의 흐름

• Broder (2002), A Taxonomy of Web Search — 검색 의도를 navigational(특정 사이트 도달)·informational(정보 습득)·transactional(행위 수행)의 3종으로 나눈 원전. 사용자 설문과 질의 로그 분석을 병행하는 이중 검증도 이 논문이 모범을 보였다. 의도 분류를 다루는 글이라면 반드시 인용되는 출발점.
• Rose & Levinson (2004, WWW) — Broder의 3분류를 2계층 위계로 정교화했다. 실제 질의 1,500건을 수작업 분류하면서 범주를 반복 수정하는 방법론은 지금도 분류체계를 만들 때 그대로 쓸 수 있는 레시피다.
• Kang & Kim (2003, SIGIR) — KAIST 연구진의 초기 자동 분류기. 의도 분류의 목적이 분류 자체가 아니라 시스템의 후속 동작을 바꾸는 것(질의 유형에 따라 랭킹 전략 전환)임을 처음으로 보였다. 오늘날 LLM 라우팅의 문제의식이 이미 여기에 있다.
• Jansen, Booth & Spink (2008, IP&M) — 질의 길이, 동사('buy', 'download'), URL 조각 같은 명시적 규칙으로 150만 건의 질의를 분류한 규칙 기반 분류기. 요즘 서비스들이 흔히 쓰는 키워드 규칙 방식의 학술적 조상이며, 수작업 라벨과의 일치도를 재는 검증 절차까지 공개했다.
• KDD Cup 2005 — 80만 질의를 7개 대범주·67개 소범주로 분류하는 주제(topical) 분류 대회. 우승팀 F1이 42%에 그쳤다는 사실이 짧은 질의 분류가 얼마나 어려운지를 보여준다. 교훈: 짧은 질의는 문맥 보강 없이 분류되지 않고, 채점자 간 의견도 갈리므로 분류체계 자체를 검증해야 한다.
• ORCAS-I (2022, SIGIR) — 키워드·휴리스틱 규칙을 약지도(weak supervision) 라벨링 함수로 바꿔 1,040만 질의에 의도 라벨을 붙인 현대적 자원. 수작업 규칙에서 데이터 기반 분류로 넘어가는 다리다.
• Shah et al. (2023, Microsoft) — LLM으로 AI 챗 로그에서 의도 분류체계를 생성하고 사람이 검증하는 파이프라인. Bing Copilot 로그에서 정보 탐색·문제 해결·학습·콘텐츠 생성·여가의 5대 의도를 도출했다. 고전적 검색 의도와 AI 챗 의도가 어떻게 다른지 보여주는 최신 좌표.

정리

20년의 교훈은 하나로 수렴한다. 짧은 질의는 사람끼리도 판단이 갈릴 만큼 모호하다. 그래서 분류기의 정확도를 재기 전에 분류체계 자체의 모호성(주석자 간 일치도)부터 측정해야 하고, 단일 키워드 규칙은 규모가 커지면 반드시 예외 규칙의 늪에 빠진다. 이 한계를 어떻게 넘는가 — 단일 단어 대신 다어절 시그널을 쓰는 방법 — 이 다음 글의 주제다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ① / 다음 글: 다어절 용어 추출과 토픽 모델