에이전트 설계 ⑤ — 컨텍스트 엔지니어링: 무엇을 뺄지부터 설계하라

2026년의 프레임: 컨텍스트는 유한한 attention 예산이다(Anthropic의 표준 텍스트). 프롬프트 엔지니어링(한 번의 지시문)에서 컨텍스트 엔지니어링(추론 시점마다 최적 토큰 집합 큐레이션)으로의 전환 — 그리고 핵심은 넣는 기술이 아니라 빼는 기술이다.

왜 — Context Rot

Chroma의 18개 모델 실측: 같은 정보라도 ~300토큰 집중 컨텍스트가 ~113K 전체 컨텍스트를 전 모델에서 이겼다. 길이 자체가 성능을 갉아먹고, distractor 하나만 있어도 저하된다. "롱컨텍스트 모델이니 다 넣자"는 데이터로 반박된 상태다.

4대 전략 — API 1급 기능이 됐다

• 삭제 — 오래된 tool result 자동 제거(context editing): 단독으로 +29%. 요약보다 먼저 시도할 가장 싼 개선.
• 컴팩션 — 임계(Claude Code는 ~95%) 도달 시 히스토리 요약 후 재시작. 서버측 compaction API까지 나와 계층화됐다.
• 노트테이킹/파일 오프로딩 — 컨텍스트 밖 파일에 지식 축적(memory tool): 편집과 조합 시 +39%, 100턴 평가에서 토큰 84% 절감(없으면 아예 완주 실패하는 워크플로 존재).
• 서브에이전트 격리 — 수만 토큰을 탐색시키고 1~2K 요약만 회수. 단 읽기 작업에만(⑥편).

Manus의 실전 수칙 — KV-cache가 제1지표

프로덕션 에이전트의 입력:출력 토큰비는 ~100:1이고 캐시 입력은 정가의 1/10 — 그래서 Manus는 KV-cache 히트율을 단일 최중요 지표로 선언한다. 수칙: 프리픽스에 타임스탬프 금지(1바이트 변경이 이후 캐시 전부 무효), append-only 히스토리 + 결정적 직렬화, 도구는 제거 대신 로짓 마스킹으로 숨기기(캐시 보존), 파일시스템을 무제한 외부 메모리로(본문은 드랍하고 경로만), todo.md를 반복 낭송해 전역 목표를 attention 최근 범위로, 그리고 실패 트레이스는 지우지 마라 — 모델이 실패를 봐야 적응한다.

사전 검색보다 just-in-time

에이전트 시대의 RAG 재해석: 무겁게 사전 검색해 넣기보다 경량 식별자(파일 경로, 쿼리)만 유지하고 런타임에 agentic search로 로드하는 것이 기본값이 됐다. 장기 메모리 제품(Mem0·Zep·Letta)은 비용·지연 절감은 실증됐지만(p95 -91%, 토큰 -90%) 정확도 주장은 벤더 간 상호 반박 중 — 도입 전 LongMemEval(상용 어시스턴트가 30% 하락한 중립 벤치) 같은 기준으로 자사 검증하라.

한 줄 요약: 컨텍스트에 무엇을 더 넣을지가 아니라, 무엇을 언제 뺄지부터 설계하라 — 그리고 KV-cache 히트율을 대시보드에 올려라.

— 에이전트 설계 시리즈 ⑤ / 다음 글: 멀티에이전트 — 읽기는 병렬, 쓰기는 단일