사용자 의도 분석 ⑧ — 복합 의도 탐지와 다중 라벨 평가, 그리고 되묻기

"고양이 그림 그려주고, 요즘 고양이 그림 트렌드도 검색해줘." — 한 문장, 두 의도. 실사용 질의에는 이런 복합 프롬프트가 흔한데, 단일 라벨 분류기는 하나를 버려야 한다. 이 문제를 다루는 분야가 복합 의도 탐지(multi-intent detection)다. 그리고 그 옆에는 미묘하게 다른 문제가 있다: 의도가 여러 개인 게 아니라 어느 쪽인지 모호한 질문. 이번 글은 이 두 갈래의 지도다.

복합 의도 탐지

• AGIF (2020, EMNLP Findings) — 복합 의도 분야의 표준 벤치마크 MixATIS/MixSNIPS를 만든 논문. 단일 의도 발화를 접속사로 이어붙여 복합 의도 데이터를 합성하는 제작법과, 의도-슬롯 상호작용 그래프 모델을 함께 제시했다. 평가 관례(정확 집합 일치 accuracy, 의도별 F1, 전체 semantic accuracy)도 여기서 굳어졌다.
• GL-GIN (2021, ACL) — 비자기회귀(non-autoregressive) 그래프 모델로 MixATIS/MixSNIPS 최고 성능을 내면서 11.5배 빠른 디코딩. 복합 의도를 토큰 단위 다중 라벨 투표로 한 번에 푸는 설계라, 지연시간이 생명인 실서비스에 시사점이 크다.
• MISCA (2023, EMNLP Findings) — 그래프 설계 대신 라벨 간 상관(co-attention)을 학습해 SOTA 갱신. "어떤 의도들이 함께 나타나는가"를 모델이 배우게 하는 접근.
• ECLM / Chain of Intent (2024→ACL 2025) — LLM은 복합 의도를 이해하는가? 하위 의도로 단계 분해(Chain of Intent)시키면 잘한다는 답. 학습 없이 프롬프트만으로 시험해 볼 수 있는 기법이라 실무 진입장벽이 낮다.
• 소형 LLM vs 지도 분류기 (2025) — 7B급 LLM의 few-shot 다중 라벨 의도 분류를 BERT 지도 분류기와 비교: 여전히 지도 분류기가 이긴다. micro/macro F1, Hamming loss, Jaccard에 추론 시간·VRAM까지 재는 평가 설계가 모범적이다.
• Fan & Lin (2007) — 다중 라벨의 고전: 라벨별 점수를 결정으로 바꾸는 임계값(threshold)을 어떻게 정할 것인가. 전역 임계값 vs 라벨별 튜닝(SCut)의 트레이드오프 분석. 모든 다중 라벨 시스템이 암묵적으로 갖고 있는 결정 계층을 명시적으로 설계하게 해 준다.
• 복합 의도 SLU 서베이 (2025) — 이 하위 분야 최초의 전용 서베이. 디코딩 패러다임별 정리와 벤치마크 통합표. 입문 1순위.

복합이 아니라 모호할 때 — 되묻기

• AmbigQA (2020, EMNLP) — 자연 질문의 절반 이상이 사실 모호하다는 실증. 모호한 질문의 가능한 해석을 전부 열거하고 각각을 명확한 질문으로 재작성하는 과제를 정의했다.
• CLAM (2022) — LLM에게 (1) 이 질문이 모호한지 판정시키고 (2) 모호할 때만 되묻게 하는 선택적 명확화. 잘못 추측해서 비싼 처리(불필요한 검색·생성)를 하는 것보다 싸게 한 번 되묻는 게 낫다는 설계 원리.
• CLAMBER (2024, ACL) — 모호성의 유형 분류(어휘적·의미적·맥락 결여 등)와 벤치마크. 경고적 발견: 현재 LLM들은 자기가 받은 질문이 모호하다는 것 자체를 잘 감지하지 못한다. 모호성 감지는 명시적 메커니즘으로 설계해야 한다는 뜻.
• Qulac / ClariQ (2019-2020, SIGIR) — 검색 쪽의 되묻기 전통. 특히 ClariQ의 "이 질의는 명확화가 필요한가" 1~4점 라벨은, 의도 라벨 옆에 붙일 수 있는 실용적인 추가 출력이다.

정리

실무 지침으로 정리하면: 복합 의도(여러 개가 다 진짜)는 모두 실행하고, 모호성(어느 하나인지 불확실)은 되묻거나 안전한 기본값으로 처리한다. 이 둘을 구분하는 것 자체가 분류기의 출력이어야 하며, 평가는 단일 정확도가 아니라 다중 라벨 지표(집합 일치, 라벨별 F1, Hamming)와 임계값 설계까지 포함해야 한다. 다음 글은 이 모든 것의 발밑 — 한국어 형태소 분석과 토크나이징 — 이다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ⑧ / 다음 글: 한국어 형태소 분석과 토크나이징 전략