사용자 의도 분석 ① — 검색 질의 의도 분류의 고전

사용자가 검색창이나 AI 챗봇에 입력하는 문장은 짧고, 생략이 많고, 여러 의도가 섞여 있다. 이 비정형 입력에서 "이 사람이 지금 무엇을 원하는가"를 알아내는 것이 사용자 의도 분석(user intent analysis)이다. 의도를 정확히 알면 검색 엔진은 랭킹 전략을 바꾸고, AI 서비스는 질문에 맞는 모델과 도구만 골라 호출해 비용을 줄인다. 이 시리즈는 의도 분석과 LLM 라우팅을 공부하려는 분들을 위해 핵심 문헌을 주제별로 정리한다. 첫 회는 모든 논의의 출발점, 웹 검색 질의 의도 분류의 고전이다.

고전 계보 — 20년의 흐름

• Broder (2002), A Taxonomy of Web Search — 검색 의도를 navigational(특정 사이트 도달)·informational(정보 습득)·transactional(행위 수행)의 3종으로 나눈 원전. 사용자 설문과 질의 로그 분석을 병행하는 이중 검증도 이 논문이 모범을 보였다. 의도 분류를 다루는 글이라면 반드시 인용되는 출발점.
• Rose & Levinson (2004, WWW) — Broder의 3분류를 2계층 위계로 정교화했다. 실제 질의 1,500건을 수작업 분류하면서 범주를 반복 수정하는 방법론은 지금도 분류체계를 만들 때 그대로 쓸 수 있는 레시피다.
• Kang & Kim (2003, SIGIR) — KAIST 연구진의 초기 자동 분류기. 의도 분류의 목적이 분류 자체가 아니라 시스템의 후속 동작을 바꾸는 것(질의 유형에 따라 랭킹 전략 전환)임을 처음으로 보였다. 오늘날 LLM 라우팅의 문제의식이 이미 여기에 있다.
• Jansen, Booth & Spink (2008, IP&M) — 질의 길이, 동사('buy', 'download'), URL 조각 같은 명시적 규칙으로 150만 건의 질의를 분류한 규칙 기반 분류기. 요즘 서비스들이 흔히 쓰는 키워드 규칙 방식의 학술적 조상이며, 수작업 라벨과의 일치도를 재는 검증 절차까지 공개했다.
• KDD Cup 2005 — 80만 질의를 7개 대범주·67개 소범주로 분류하는 주제(topical) 분류 대회. 우승팀 F1이 42%에 그쳤다는 사실이 짧은 질의 분류가 얼마나 어려운지를 보여준다. 교훈: 짧은 질의는 문맥 보강 없이 분류되지 않고, 채점자 간 의견도 갈리므로 분류체계 자체를 검증해야 한다.
• ORCAS-I (2022, SIGIR) — 키워드·휴리스틱 규칙을 약지도(weak supervision) 라벨링 함수로 바꿔 1,040만 질의에 의도 라벨을 붙인 현대적 자원. 수작업 규칙에서 데이터 기반 분류로 넘어가는 다리다.
• Shah et al. (2023, Microsoft) — LLM으로 AI 챗 로그에서 의도 분류체계를 생성하고 사람이 검증하는 파이프라인. Bing Copilot 로그에서 정보 탐색·문제 해결·학습·콘텐츠 생성·여가의 5대 의도를 도출했다. 고전적 검색 의도와 AI 챗 의도가 어떻게 다른지 보여주는 최신 좌표.

정리

20년의 교훈은 하나로 수렴한다. 짧은 질의는 사람끼리도 판단이 갈릴 만큼 모호하다. 그래서 분류기의 정확도를 재기 전에 분류체계 자체의 모호성(주석자 간 일치도)부터 측정해야 하고, 단일 키워드 규칙은 규모가 커지면 반드시 예외 규칙의 늪에 빠진다. 이 한계를 어떻게 넘는가 — 단일 단어 대신 다어절 시그널을 쓰는 방법 — 이 다음 글의 주제다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ① / 다음 글: 다어절 용어 추출과 토픽 모델