RAG 실전 ② — 문서 파싱: 파서가 RAG의 천장을 정한다

임베딩 모델과 리랭커를 바꾸기 전에 파싱부터 고쳐야 하는 이유: OHR-Bench가 문서 이미지 8,561장으로 실증했다 — OCR/파싱 노이즈와 RAG 성능 저하는 단조 상관이고, 평가된 어떤 상용·오픈소스 파서도 "RAG용 고품질 지식베이스에 충분하지 않다." 파싱 품질이 곧 상한선이다.

계단식 파이프라인 — 싸게 시작해 실패한 문서만 승급

• 1단: PyMuPDF4LLM — 텍스트 레이어가 살아있는 born-digital PDF는 GPU 없이 초당 수십 페이지, 비용 0원. 다단 레이아웃·표 감지·Markdown 출력. 대부분의 문서가 여기서 끝난다(AGPL이라 SaaS 재배포 시 라이선스 검토).
• 2단: Docling (IBM→LF AI, MIT) — 20+ 포맷을 통합 표현으로 파싱, TableFormer 표 인식, 로컬 실행이라 민감 데이터 안전. 문서 구조를 보존해 구조 인지 청킹까지 한 파이프라인.
• 3단: MinerU 3.x — 1.2B VLM 하이브리드가 OmniDocBench 95.39로 오픈소스 SOTA. 스캔본·수식·복잡한 표에서 정확도 최우선일 때. GPU 한 장(VRAM 8GB+)이면 되고, v3.1부터 Apache 2.0 계열로 전환돼 상용 장벽이 사라졌다.
• 처리량 특화: marker — B200에서 최대 23.7페이지/초, MinerU보다 ~5배 빠른 처리량. 단 모델 가중치가 수정 OpenRail-M(매출 $5M+ 기업은 별도 라이선스) — 상용 도입 전 확인 필수라는 실전 함정.

한국 문서의 두 관문

• Upstage Document Parse — 한국 기업의 파싱 API, $0.01/페이지, 평균 0.6초/페이지, 표 인식 TEDS 93.48. 표·양식 위주의 한국어 공문서·금융 문서에서 지름길이고, HWP/HWPX를 직접 입력받는 사실상 유일한 파싱 API다(지원 포맷은 도입 시점에 재확인).
• HWP — 한국 RAG의 진짜 고통 — 공공·기업 문서의 상당수가 HWP인데 성숙한 오픈소스 파서가 없다. 현실적 경로: (1) 가능하면 HWPX로 변환 — ZIP+XML(OWPML)이라 표준 zipfile+lxml로 파싱 가능, (2) 텍스트만 필요하면 pyhwp(AGPL, 반쯤 방치) 대신 gethwp(MIT, read_hwp() 한 줄), (3) 표·레이아웃까지 필요하면 Upstage API, (4) 최후 수단은 한/글 자동화로 PDF 변환 후 PDF 파이프라인 재사용. 한컴 공식 오픈소스(hwpx-owpml-model, Apache-2.0)도 있다.

파싱을 없애는 제3의 길

표·차트·도면 위주 문서라면 "파싱을 고치는 대신 파싱을 없애는" 선택지도 있다 — 페이지를 통째로 이미지로 임베딩하는 ColPali/ColQwen(ICLR 2025). ④편(임베딩)과 ⑧편(고급 패턴)에서 트레이드오프와 함께 다룬다.

비용 감각 하나: 한국어 RAG의 숨은 최대 비용은 임베딩(1M 문서 ~$60)이 아니라 파싱이다 — 1M 문서 × 평균 10페이지면 $0.01/페이지로도 $100K. 파일럿 단계에서 페이지 수 기반 견적을 먼저 뽑아라.

한 줄 요약: 같은 예산이면 임베딩 교체보다 파서 개선의 리콜 이득이 크다 — 싸게 시작해 실패 문서만 승급시키는 계단식으로.

— RAG 실전 시리즈 ② / 다음 글: 청킹 — 200토큰 무중첩이 이기는 이유