2023년의 추론 스캐폴드 대부분이 2026년엔 모델 안으로 흡수됐다. 무엇이 살아남았고 무엇을 버려야 하는지의 결산이다.
흡수된 것들
- ReAct — Thought→Action→Observation 루프의 원전(ICLR 2023)이지만, 지금은 네이티브 도구 호출 + 모델 내 interleaved thinking이 곧 ReAct다. 손으로 "Thought:" 프롬프트를 쓰지 마라 — 살아남은 건 "매 스텝 신선한 관찰에 추론을 접지하라"는 설계 교훈뿐.
- 고정 thinking budget — Anthropic API에서 공식 deprecated. adaptive thinking(모델이 언제·얼마나 생각할지 결정, 도구 호출 사이 자동 interleave)이 대체. 자기 reflection 스텝을 추가하기 전에 모델이 이미 하는지 확인하라 — 2025년의 think tool 트릭(τ-bench airline pass^1 0.332→0.584)이 2026년엔 네이티브 기능이 된 것이 스캐폴드 흡수의 살아있는 예다.
살아남은 것들 — 조건부로
- Plan-and-execute — 장기 지평·병렬화 가능 작업에서만: LLMCompiler(ICML 2024) 기준 ReAct 대비 3.7배 빠르고 6.7배 싸고 +9% 정확(플래너는 큰 모델, 실행자는 작은 모델 병렬). 부가 이득: 계획을 실행 전에 사용자에게 보여줄 수 있다(⑧편 UX). 결과 배치마다 재계획하지 않으면 계획이 썩는다.
- Reflection — 외부 검증기와 연결됐을 때만. Reflexion(NeurIPS 2023)의 승리는 유닛 테스트 통과/실패라는 외부 신호가 있었기 때문. 결정적 반증: Huang et al. (ICLR 2024) — 외부 피드백 없는 자기수정("다시 확인해봐")은 정답을 스스로 버리게 만들어 정확도가 오히려 하락. 검증기 없는 자기비평은 2배 토큰짜리 동전 던지기다.
- 트리 탐색(ToT/LATS) — Game of 24에서 4%→74%라는 극적 수치가 있지만 과제당 수십~수백 호출. 단일 궤적이 확실히 실패하고 + 상태를 싸게 검증할 수 있고 + 오프라인 고가치일 때만 — 2026년엔 이 탐색의 상당 부분이 추론 모델의 내부 사고로 이동해 니치가 됐다.
추론 모델은 플래너를 대체하는가
대체로 그렇다 — 가장 오래된 회의론자 Kambhampati 그룹조차 o1의 PlanBench 성적을 "quantum improvement"로 인정했다. 그러나 두 한계: ① 복잡도 절벽 — Apple의 Illusion of Thinking: 쉬운 문제선 일반 모델이 낫고(과잉 사고), 중간에선 추론 모델이 이기고, 어려운 문제에선 둘 다 0으로 붕괴 — "더 생각하기"가 절벽을 못 넘으니 분해하거나 조합 코어를 코드에 넘겨라. ② 비용 — 난이도로 라우팅하고 실패 신호에서만 연산을 승급하는 적응 정책이 고정 최대 사고보다 낫다(compute-optimal test-time scaling, ICLR 2025).
총정리 — 에이전트판 Bitter Lesson
Anthropic이 SWE-bench Verified SOTA(당시 49%)를 찍은 스캐폴드는 bash 도구 + 편집 도구뿐 — "모델에게 최대한 제어를 주고 스캐폴드를 최소로." 정교한 2023-24년 파이프라인들은 1년 안에 모델에게 추월당했다. 도메인 지식은 모델이 자라도 살아남는 곳(도구, 환경, 검증기)에 넣고, 고정 추론 워크플로(모델이 자라면 부채가 되는 곳)에 넣지 마라.
— 에이전트 설계 시리즈 ④ / 다음 글: 컨텍스트 엔지니어링 — 무엇을 뺄지부터 설계하라
댓글 없음:
댓글 쓰기
국정원의 댓글 공작을 지탄합니다.