사용자 의도 분석 ⑥ — 실사용 로그 데이터셋과 약지도 라벨링

의도 분류기를 만들려면 결국 데이터가 필요하다. 사람들이 AI에게 실제로 뭘 물어보는지, 그리고 그 질문에 어떤 의도 라벨을 붙일지. 다행히 지난 2년 사이 실사용 채팅 로그가 대규모로 공개됐고, 손으로 라벨링하지 않고 라벨을 만드는 방법론(약지도, weak supervision)도 성숙했다. 이번 글은 그 데이터와 방법의 지도다.

공개된 실사용 로그

• LMSYS-Chat-1M (ICLR 2024) — Vicuna 데모·Chatbot Arena에서 수집한 25개 LLM과의 실제 대화 100만 건. 사람들이 챗봇에 실제로 입력하는 문장의 분포를 볼 수 있는 대표 코퍼스로, 토픽 클러스터 분석 사례까지 논문에 포함되어 있다. (HuggingFace, 연구 라이선스)
• WildChat-1M (ICLR 2024) — 무료 GPT-3.5/4 사용권을 대가로 명시적 동의를 받고 수집한 ChatGPT 대화 100만 건(68개 언어). 수집 설계 자체(옵트인 동의, IP 해시화)가 로그 연구 윤리의 모범 사례로 인용된다.
• ShareGPT (2023) — 브라우저 확장으로 사용자들이 자발 공유한 대화 5~9만 건. 역사적으로 중요하지만 동의 체계와 라이선스가 불분명한 반면교사이기도 하다.
• How People Use ChatGPT (2025, NBER) — 7억 주간 사용자에서 표본한 100만 대화를 프라이버시 보존 분류기로 분석한 최대 규모 사용 연구. Asking/Doing/Expressing 축과 7개 주제 범주를 제시했고, Practical Guidance·정보 탐색·글쓰기가 사용의 약 80%를 차지한다는 것을 보였다.

로그에서 분류체계를 만드는 법

• Clio (2024, Anthropic) — 사람이 원문을 읽지 않고도 수백만 대화를 LLM으로 요약→임베딩→계층 군집해 상향식 사용 분류체계를 만드는 시스템. 최소 군집 크기, 다단계 익명화 등 프라이버시 장치 설계가 핵심 기여다. 로그 기반 분류체계 구축의 청사진.
• TnT-LLM (2024, KDD — Microsoft) — 2단계 파이프라인: (1) 비싼 LLM이 로그에서 라벨 분류체계를 생성·정제하고, (2) LLM이 의사라벨을 붙여 싸고 빠른 소형 분류기를 학습시킨다. Bing Copilot 로그에서 검증. "LLM은 오프라인 데이터 생성기로, 서빙은 소형 모델로"라는 현재 표준 패턴의 정식화.

라벨을 공짜로 얻는 법 — 약지도

• Snorkel (2017, VLDB) — 데이터 프로그래밍의 원전. 전문가가 쓴 노이즈 있는 라벨링 함수들(키워드 규칙, 휴리스틱)의 일치/불일치만으로 각 함수의 신뢰도를 학습해 확률적 학습 라벨을 만든다. 이미 갖고 있는 키워드 규칙을 "분류기"가 아니라 "라벨링 함수"로 재활용하는 발상의 전환.
• Naturally Occurring Feedback (2024) — 사람-LLM 대화의 최대 30%에 자발적 피드백(고맙다는 말, 정정, 재질문, 불평)이 들어 있으며 이를 자동 추출해 학습에 쓸 수 있음을 보였다. 사용자 행동이 곧 무료 라벨이라는 실증.
• 후속 질의와 만족도 (2024, SIGIR 워크숍 — KAIST·네이버) — 한국 상용 대화형 검색(Cue:)의 실사용 로그로 후속 질의 패턴 18종(7개 동기 × 11개 행동)을 도출하고, 어떤 패턴이 불만족 신호인지 밝혔다. 한국어 상용 서비스 로그 연구의 드문 공개 사례.
• User Feedback: Noisy as a Learning Signal (2025, EMNLP) — 균형추. 재질문·불평 같은 암묵 피드백은 사용자를 이해하는 렌즈로는 훌륭하지만 학습 신호로는 노이즈가 크다는 것을 정량화했다. 행동 신호를 정답으로 그대로 믿지 말고 가중치를 학습하라는 경고.
• Trust No Bot (2024, COLM) — WildChat의 개인정보 노출 감사. 번역·코드 편집처럼 예상 밖의 맥락에서 PII가 새어 나오고, 정규식/NER 기반 스크러빙만으로는 건강·관계 같은 민감 주제를 못 거른다는 것을 보였다. 로그를 다루는 모든 연구의 필독 경고문.

정리

파이프라인은 정립됐다: 실로그 수집(동의·익명화 설계) → LLM으로 분류체계 상향 도출(Clio, TnT-LLM) → 기존 규칙·행동 신호를 약지도 라벨로 결합(Snorkel) → 소형 분류기로 증류. 수작업 라벨링은 이제 골드 평가셋을 만들 때만 쓴다. 다음 글은 이 모든 것의 한국어 사정 — 공개 한국어 데이터셋과 교육 분야 적용 — 이다.

— 사용자 의도 분석과 LLM 라우팅 시리즈 ⑥ / 다음 글: 한국어 자원과 교육 분야 적용