AX Enablement

The Missing Infrastructure for AI Agents: 에이전트가 PDF·스캔·엑셀을 빠짐없이 읽게 하는 문서 계층

누적 70억 쪽을 처리한 문서 파싱 기업 Reducto의 CEO가 프런티어 모델은 긴 추출에서 틀리기보다 조용히 빠뜨린다고 말합니다. 문서를 쪼개 읽고 에이전트가 검증 규칙으로 스스로 다시 보게 하는 구조, 그리고 우리 문서로 평가하는 방법과 4주 파일럿을 붙였습니다.

출처
a16z Show · Adit Abraham(Reducto CEO), Jennifer Li(a16z)
원문 제목
The Missing Infrastructure for AI Agents: Documents | Reducto's Adit Abraham
유형
팟캐스트
읽은 날
2026.10.26
원문 발행
2026.10.21

청구서·계약서·환자 서류를 다루는 에이전트가 실패하는 지점은 추론보다 읽기입니다. Reducto CEO Adit Abraham은 프런티어 모델이 긴 문서에서 정보를 틀리기보다 조용히 빠뜨린다고 봅니다. 그래서 문서를 쪼개 읽고, 에이전트가 합계·건수 같은 검증 규칙으로 자기 결과를 다시 보게 하고, 답마다 원문 위치를 남기라고 말합니다. 우리 업무에 쓰려면 평가는 공개 벤치마크가 아니라 우리 문서로, 그것도 먼저 검증한 정답셋으로 해야 합니다.

요약

a16z 팟캐스트 2026년 10월 21일 회차에서 a16z 파트너 Jennifer Li가 Reducto 공동창업자 겸 CEO Adit Abraham과 나눈 대담입니다. Reducto는 PDF, 스캔 이미지, 스프레드시트를 AI 모델이 읽을 수 있는 구조화 데이터로 바꾸는 회사입니다. 2023년 YC에서 메모리 문제로 시작했다가, 초기 AI 네이티브 고객들이 문서 처리 인프라에서 막히는 모습을 보고 방향을 바꿨습니다. 처리량은 한 달 수십억 쪽이고, 녹화 당일 아침에 누적 70억 쪽을 넘었다고 밝혔습니다. 고품질 파싱·추출의 정가는 쪽당 1센트입니다. Abraham은 의료·법률·금융·보험의 화이트칼라 업무 대부분이 문서에 담겨 있고, 이런 업무에서 체크박스 하나를 잘못 읽으면 환자 결과가 달라진다고 말합니다.

2023 시작YC에서 메모리 문제로AI 네이티브 고객이문서 처리에서 막힘전환문서 처리 인프라로컴퓨터 비전 배경R1 · Deep Extract지금한 달 수십억 쪽누적 70억 쪽정가 쪽당 1센트
Reducto는 메모리 문제에서 출발해 문서 처리 인프라로 옮겼습니다. 숫자는 화자 발언입니다.

대담의 결론은 세 가지입니다. 첫째, 긴 문서를 모델 한 번 호출로 처리할 수 없습니다. 문서를 나누고 부분마다 정확히 파싱·추출한 뒤, 큰 모델은 마지막 단계에만 씁니다. 둘째, 프런티어 모델은 뽑은 값의 정확도는 높지만 값을 빠뜨리는 recall(재현율) 문제가 있고, 이 누락은 운영 중에 잘 보이지 않습니다. Reducto는 모델과 무관한 harness(실행 틀)인 Deep Extract에서 에이전트에게 검증 도구를 주어 스스로 결과를 검토·수정하게 했고, 그 결과 구조화 추출에서 사람 라벨러보다 나은 과제가 많아졌다고 말합니다. 셋째, 벤치마크는 마케팅이 됐으니 자기 문서로 평가해야 하며, 고객이 가진 정답셋부터 의심해야 합니다. 아래에서는 이 세 주장을 받치는 메커니즘을 풀고, 우리 문서 업무에 옮길 때의 설계와 일정을 덧붙였습니다.

핵심 메커니즘

Document Layer: 문서는 텍스트가 아니라 이미지라는 전제

무엇인가. 에이전트와 원천 문서 사이에서 PDF·스캔·엑셀을 모델이 읽을 수 있는 구조로 바꾸는 층입니다. Abraham은 문서를 사람이 한 일의 흔적으로 보고, 이 층이 비어 있으면 에이전트가 중요한 일을 맡을 수 없다고 봅니다.

어떻게 작동하나. 그는 문서 처리의 역사를 세 시기로 나눕니다. 파일 자체를 다루던 시기, OCR(광학 문자 인식)과 템플릿으로 양식을 읽던 IDP(지능형 문서 처리) 시기, 그리고 2023년 이후 VLM(이미지를 이해하는 언어 모델) 시기입니다. 템플릿 방식은 W-2 같은 양식에서 이름이 어느 픽셀에 있는지 미리 지정하고, 읽은 글자를 후처리합니다. VLM은 문서 내용을 추론할 수 있지만, 문서는 본질적으로 이미지라서 2단 편집, 병합 셀이 있는 표, 구조 보존이 여전히 어렵습니다. Reducto는 처음에 전통적 컴퓨터 비전으로 구조를 잡고 VLM을 교정 루프로 썼습니다. 이후 bounding box(원문 위의 좌표 상자)를 유지하면서 쪽 전체를 읽는 통합 모델 R1을 만들었습니다.

언제 쓰나. 사용자가 올리기만 하면 되기를 기대하는 업무, 그리고 답의 출처를 반드시 보여야 하는 업무입니다. 단순한 문서라면 복잡한 파이프라인이 필요 없을 수 있다고 그도 말합니다.

원문의 예. 점이 100개쯤 이어진 목차형 PDF에서 VLM이 점을 끝없이 반복 출력하는 현상, 스캔이 고르지 않아 두 쪽에 걸친 표의 열이 어긋나는 경우, 사람이라면 확대해서 보는 도면을 조각으로 나눠 읽는 방식을 들었습니다.

파일 처리파일 자체를 다룸OCR + 템플릿 IDP픽셀 위치를 미리 지정VLM (2023~)내용을 추론, 구조는 숙제어려운 경우: 2단 편집 · 병합 셀 표 · 두 쪽에 걸친 표 · 도면 · 반복되는 점
화자가 나눈 문서 처리의 세 시기. VLM 시기에도 문서는 이미지라 구조 보존이 남은 과제입니다.

Decomposition: 문서·쪽·영역으로 나눠 읽고 큰 모델은 마지막에

무엇인가. 긴 문서를 한 번에 모델에 넣지 않고 부분으로 나눈 뒤 부분마다 파싱·추출하는 방식입니다. Abraham은 모델 호출 한 번으로 긴 문서에서 필요한 값을 다 뽑을 수 있다는 생각을 가장 흔한 오해로 꼽습니다.

어떻게 작동하나. 어려움을 세 겹으로 봅니다. 문서가 복잡한가, 그 안의 특정 쪽이 어려운가, 쪽 안에서도 특정 영역이 더 어려운가입니다. 어려운 영역에는 전용 처리를 붙입니다. 금융 문서의 차트는 모델이 매출이 올랐다는 것은 말해도 개별 데이터 포인트를 잘 읽지 못해, Reducto는 차트 전용 에이전트를 따로 학습시켰습니다. 엑셀은 시트와 데이터 덩어리가 많아 컨텍스트 창이 충분해도 모델이 헤맵니다. 그래서 원본 파일을 그대로 넘기지 않고 모델이 읽기 좋은 표현으로 바꿔 넘깁니다. 지원 형식은 40가지가 넘습니다.

언제 쓰나. 대출 서류 묶음처럼 여러 파일을 쪼개고(splitting), 필드를 뽑고, 양식을 고치는 다단계 업무입니다.

문서이 문서는 복잡한가쪽어느 쪽이 어려운가영역쪽 안 어느 영역이 더 어려운가영역별 전용 처리: 차트 → 차트 에이전트 · 엑셀 → 모델용 표현 · 도면 → 조각 읽기큰 모델은 마지막 단계(대조·요약)에만
어려움을 문서·쪽·영역 세 겹으로 보고, 어려운 영역에만 전용 처리를 붙입니다.

Silent Drop: 틀리기보다 빠뜨리는 프런티어 모델

무엇인가. 긴 추출 작업에서 모델이 일부 행이나 필드를 아무 표시 없이 누락하는 실패입니다. 뽑은 값의 정확도를 precision(정밀도), 있어야 할 값을 다 뽑았는지를 recall이라고 하면, 문제는 recall 쪽입니다.

어떻게 작동하나. Abraham은 외부 기관이 독립적으로 진행한 긴 추출 벤치마크 결과를 인용합니다. 프런티어 모델은 많은 전문 파서보다 precision이 높았습니다. 무언가를 뽑았다면 맞을 가능성이 컸다는 뜻입니다. 대신 주된 실패 유형이 정보를 조용히 빠뜨리는 것이었고, 이런 누락은 운영 환경에서 잡기 어렵습니다. 틀린 값은 검토자 눈에 띄지만 없는 값은 아예 보이지 않기 때문입니다.

언제 문제가 되나. 송장 품목, 거래 내역, 진료 기록처럼 행이 수십~수백 개인 표에서 한두 행이 빠져도 결과가 그럴듯해 보이는 업무입니다.

precision (뽑은 값의 정확도)recall (빠뜨리지 않았나)· 프런티어 모델이 전문 파서보다 높음· 뽑았다면 맞을 가능성이 큼· 틀린 값은 검토자 눈에 띔· 주된 실패 유형· 정보를 조용히 빠뜨림· 없는 값은 보이지 않아 운영 중 놓침
긴 추출에서 프런티어 모델의 약점은 틀린 값보다 빠진 값입니다(화자가 인용한 독립 벤치마크).

Deep Extract: 에이전트가 검증 규칙을 만들어 자기 결과를 다시 보는 harness

무엇인가. Reducto가 만든 모델 무관(model-agnostic) 실행 틀입니다. 모델에게 자기 출력을 검토하고 검증 규칙을 만드는 도구를 줍니다.

어떻게 작동하나. Abraham이 든 예는 큰 송장입니다. 상위 에이전트가 추출된 품목 금액을 더해 총액과 맞는지 확인합니다. 맞지 않으면 빠진 행이나 잘못 읽은 값이 있다는 신호이므로 다시 추출합니다. 같은 방식을 문서 쪼개기에도 적용합니다. 그는 이 자기 검토로 거의 완벽한 정확도에 이르렀고, 많은 과제에서 사람 라벨러보다 낫다고 말합니다. 사람도 행을 빠뜨리거나 양식 일부만 채우기 때문입니다.

언제 쓰나. 문서 안에 서로 맞아야 하는 숫자나 건수가 있을 때 효과가 큽니다. 합계, 쪽 수, 항목 번호, 서명란 개수처럼 문서가 스스로 답을 확인할 단서를 품고 있는 경우입니다.

추출송장 품목을 뽑음행마다 금액·위치검증 규칙품목 합계 = 총액?행 수 = 기대 건수?불일치빠진 행 · 오독 신호해당 쪽만 다시 봄결과수정된 추출근거 위치와 함께
상위 에이전트가 문서 안의 합계로 자기 결과를 다시 확인합니다. 원문 예는 큰 송장입니다.

Compounding Error와 Citation: 다단계 업무의 오차 누적과 단어 단위 근거

무엇인가. 단계와 파일이 늘수록 개별 정확도의 오차가 곱해져 커지는 현상입니다. Abraham은 대출 서류 묶음처럼 십여 개 파일을 쪼개고 뽑고 고치는 일에서는 쪽당 90%로는 안 된다고 말합니다. 기존 OCR은 70~80%대에 머무는 경우가 많다는 Li의 말에, 그는 대부분의 사례가 지금은 90%대 후반에 이른다고 답했습니다. 의사 손글씨 같은 예외는 남습니다.

어떻게 대응하나. 정확도를 올리는 것과 함께 사람이 결과를 믿을 근거를 줍니다. Reducto는 답의 근거를 개별 단어 단위까지 원문 위치로 연결합니다. 코딩 도구는 버그가 나면 PR을 되돌리면 되지만, 의료 판단은 되돌릴 수 없습니다. 그래서 전문 서비스 업종의 도입이 늦은 것은 지능 부족보다 신뢰와 2차 문제 때문이라고 봅니다.

계산 예시: 파일 12개를 모두 맞게 처리할 확률쪽당 90%12개 파일 모두 맞을 확률28%쪽당 99%12개 파일 모두 맞을 확률89%쪽당 99.9%12개 파일 모두 맞을 확률99%0100%
오차가 서로 독립이라고 가정한 단순 계산(0.9의 12제곱 등). 화자는 십여 개 파일 묶음에 쪽당 90%로는 안 된다고 말합니다.

Own-Data Evaluation: 공개 벤치마크 대신 검증한 우리 정답셋으로

무엇인가. 문서 처리 도구를 고를 때 공개 순위가 아니라 우리 문서로 평가하는 방식입니다. Abraham은 벤치마크가 마케팅이 됐다고 말합니다.

어떻게 작동하나. 가장 중요한 기준은 평가 데이터의 분포가 우리 문서와 같은가입니다. 채점이 너무 엄격해도 문제입니다. 같은 정보를 충실하게 표현하는 방법이 둘일 수 있는데 하나만 정답으로 치면 좋은 결과를 깎게 됩니다. 그는 rubric(채점 기준표)을 잘 짜면 LLM-as-judge(모델이 채점하는 방식)가 지금은 꽤 강하다고 봅니다. 공개 벤치마크 하나에서는 쪽을 1도 기울이고 가우시안 블러를 조금 더하자 한 업체의 성능이 크게 떨어진 일도 있었다고 전했습니다.

정답셋을 먼저 검증합니다. 고객이 가진 골든 데이터셋은 사람이 만들면서 정보를 빠뜨렸거나, 더 싼 모델로 만들어 오류가 섞인 경우가 많습니다. Reducto는 비교 시험 전에 고객과 함께 평가 방법부터 검증합니다.

정답셋 검증사람이 빠뜨린 값싼 모델로 만든 오류분포 맞추기우리 문서와 같은유형·품질의 표본견고성 시험1도 회전가우시안 블러채점rubric + LLM-as-judge같은 뜻 다른 표현 인정
공개 순위 대신 검증한 우리 정답셋으로 평가합니다. 정답셋 검증이 첫 단계입니다.

통념과 다른 주장

흔히 이렇게 봅니다컨텍스트 창이 큰 프런티어 모델에 문서 전체를 넣고 구조화 출력을 요청하면 추출은 해결된다.

저자는 이렇게 봅니다한 번 호출로는 안 됩니다. 문서를 나눠 읽어야 하고, 프런티어 모델의 주된 실패는 틀린 값이 아니라 조용히 빠진 값입니다.

근거독립 기관의 긴 추출 벤치마크에서 프런티어 모델은 precision은 전문 파서보다 높았지만 누락이 주된 실패였습니다. 엑셀은 컨텍스트 창이 충분해도 모델이 헤맨다고 말합니다.

흔한 방식대담의 방식· 문서 전체를 한 번에 넣음· 구조화 출력 한 번 요청· 정확도 하나로 평가· 문서 · 쪽 · 영역으로 나눔· 큰 모델은 마지막에만· precision과 recall을 따로 봄
긴 문서를 한 번에 넣는 방식과 나눠 읽는 방식의 차이.

흔히 이렇게 봅니다사람이 라벨링한 정답셋이 기준이고, AI 추출은 사람 수준에 다가가는 것이 목표다.

저자는 이렇게 봅니다사람 정답셋에도 오류가 있습니다. 자기 검토를 하는 에이전트는 많은 구조화 추출 과제에서 사람 라벨러보다 낫습니다.

근거사람은 행을 빠뜨리거나 양식 일부만 채우고, 싼 모델로 만든 정답셋에는 오류가 섞여 있었습니다. 그래서 Reducto는 비교 시험 전에 고객의 평가 방법부터 함께 검증합니다.

흔한 전제대담의 관점· 사람 정답셋 = 기준· AI는 사람 수준을 목표로· 사람도 행을 빠뜨림· 자기 검토 에이전트가 앞서는 과제가 많음· 비교 전에 정답셋부터 검증
정답셋을 기준으로 삼기 전에 그 정답셋을 검증합니다.

저자가 든 사례

대형 헬스케어 고객: 의사용 환자 기록 검색

구분내용
상황의사에게 환자 기록 검색 도구를 제공하는 대형 헬스케어 고객. 종이 환자 서류 묶음이 몇 인치 두께에 이름
한 일서류를 파싱해 검색 가능하게 만드는 데 Reducto를 씀
결과원문에서 개선 수치는 밝히지 않음. 현재 OCR로는 일부 서류의 정확도가 50% 아래로 떨어져 사람이 수만 쪽을 검토해야 한다고 언급
연결Compounding Error와 Citation. ‘check pain’을 ‘chest pain’으로 잘못 읽으면 검색에서 병력이 안 나와 청구가 거절될 수 있음. 바쁜 의사는 OCR 결과를 검증할 여유가 없어 도구를 그대로 믿음
상황몇 인치 두께 환자 서류의사용 검색 도구한 일서류 파싱으로검색 가능하게위험'check pain' → 'chest pain'병력 누락 · 청구 거절
현재 OCR로는 일부 의료 서류 정확도가 50% 아래라고 화자가 언급했습니다.

큰 송장의 품목 합계 검증

구분내용
상황품목이 많은 큰 송장에서 모델이 일부 행을 빠뜨릴 수 있음
한 일Deep Extract에서 상위 에이전트가 품목 금액의 합이 총액과 맞는지 확인하는 검증 규칙을 만듦
결과이런 자기 검토로 거의 완벽한 정확도에 이르렀다고 말함. 구체 수치는 원문에서 밝히지 않음
연결Silent Drop과 Deep Extract. 문서 안의 합계가 누락을 잡는 단서가 됨
상황품목이 많은 큰 송장행 누락 가능한 일품목 합계와 총액을대조하는 검증 규칙결과거의 완벽한 정확도(화자 발언, 수치 없음)
문서 안의 합계가 누락을 잡는 단서가 됩니다.

헤지펀드와 대출 서류: 수집 속도와 다단계 정확도

구분내용
상황초기 고객은 Harvey 같은 AI 네이티브 기업. 이후 헤지펀드, PE, 기술 기업으로 확대
한 일헤지펀드는 문서에서 신호를 모으는 집계 파이프라인을, 대출 업무는 쪼개기·필드 추출·양식 편집을 묶어 씀
결과헤지펀드에는 더 빠르고 견고한 신호 수집이 곧 수익원(alpha)이라고 설명. 대출 서류 묶음은 쪽당 90%로는 부족하다고 언급
연결Decomposition과 Compounding Error. 고객은 엔드포인트 두 개 이상을 함께 쓰고 평가·검토·워크플로 도구를 요구
헤지펀드문서에서 신호 집계빠르고 견고한 수집 = alpha대출 서류쪼개기 → 추출 → 편집쪽당 90%로는 부족공통 요구엔드포인트 2개 이상평가 · 검토 · 워크플로
고객은 여러 엔드포인트를 묶어 쓰고 평가·검토 도구를 함께 요구합니다.

기술 디테일: 우리 문서 업무에 이 구조를 옮기려면

아래는 대담의 메커니즘을 우리 송장·계약·청구 서류 업무에 대입할 때 필요한 설계로, AX Review가 새로 작성했습니다. 필드 이름과 숫자는 가상 예시입니다.

Decomposition을 설계하려면 호출 단위를 문서가 아니라 쪽 또는 영역으로 잡습니다. 1단계 splitting은 서류 묶음을 문서 유형별로 나누고 유형과 쪽 범위를 돌려줍니다. 2단계 parsing은 쪽마다 텍스트·표·차트 영역을 나누고 각 영역에 bounding box를 붙입니다. 3단계 extraction은 문서 유형별 스키마로 값을 뽑습니다. 4단계에서만 큰 모델이 여러 문서의 값을 대조하거나 요약합니다. 표가 두 쪽에 걸치면 parsing 단계에서 열 머리글을 기준으로 이어 붙인 뒤 추출에 넘깁니다. 엑셀은 시트마다 데이터 덩어리의 범위, 머리글, 행 수를 먼저 요약한 표현을 만들고, 필요한 범위만 모델에 넘깁니다.

1 splitting묶음 → 문서 유형별유형 · 쪽 범위2 parsing쪽 → 텍스트 · 표 · 차트영역마다 bbox3 extraction유형별 스키마값 + page · bbox4 큰 모델문서 간 대조요약 · 판단 보조
호출 단위는 문서가 아니라 쪽·영역입니다. 큰 모델은 4단계에만 씁니다(설계 예시).

Citation을 구조화 출력에 넣으려면 모든 값에 원문 위치를 필수 필드로 둡니다. 근거 위치가 없는 값은 자동 처리하지 않습니다. 아래는 송장 추출 스키마의 가상 예시입니다.

{
  "doc_type": "invoice",
  "invoice_no": { "value": "INV-2026-0412", "page": 1, "bbox": [412, 88, 560, 104] },
  "total_amount": { "value": 18450000, "currency": "KRW", "page": 3, "bbox": [480, 702, 572, 720] },
  "line_items": [
    { "row": 1, "item": "부품 A", "qty": 120, "amount": 3600000, "page": 1, "bbox": [40, 220, 572, 236] }
  ],
  "expected_row_count": 47,
  "checks": [
    { "rule": "sum(line_items.amount) == total_amount", "passed": false, "diff": 420000 },
    { "rule": "len(line_items) == expected_row_count", "passed": false, "diff": 2 }
  ]
}

Silent Drop을 잡으려면 recall을 따로 재는 장치를 둡니다. 첫째, 문서 안의 단서로 기대 건수를 먼저 뽑습니다. 표의 마지막 행 번호, 쪽 수, ‘총 47건’ 같은 문구입니다. 둘째, 추출한 행 수와 기대 건수를 비교합니다. 셋째, 합계 규칙을 코드로 검사합니다. 모델에게 합을 계산하게 하지 않고 뽑은 값으로 코드가 더합니다. 검사에 실패하면 해당 쪽만 다시 추출하고, 재시도는 2회까지로 제한합니다. 두 번 다 실패하면 사람 검토 큐로 보냅니다. 평가 때는 precision과 recall을 필드별로 따로 적습니다. 정확도 하나로 합치면 누락이 가려집니다.

기대 건수마지막 행 번호'총 47건' 문구코드 검사행 수 비교합계는 코드가 계산재추출실패한 쪽만최대 2회검토 큐두 번 실패 시사람이 확인
누락은 문서 안의 단서와 코드 검사로 잡습니다. 숫자는 가상 예시입니다.

Deep Extract식 자기 검토를 직접 만들려면 추출 에이전트와 검토 에이전트를 나눕니다. 검토 에이전트에게는 세 가지 도구를 줍니다. 쪽 이미지를 다시 보는 도구, 특정 bounding box 영역을 확대해 다시 읽는 도구, 검증 규칙을 실행하는 코드 도구입니다. 검토 에이전트의 출력은 수정 제안 목록(field, old, new, evidence_bbox)으로 받고, 사람이 그 목록만 보면 되게 합니다. 같은 문서를 temperature 0으로 2~3회 돌려 값이 갈리는 필드를 표시하면 불안정한 필드가 먼저 드러납니다.

우리 문서로 평가하려면 실제 업무 문서에서 유형별로 표본을 뽑습니다. 가상 예시로 유형 5개 각 40건, 모두 200건입니다. 정답셋은 담당자 2명이 독립으로 만들고 서로 다른 칸만 다시 봅니다. 기존 골든 데이터셋이 있으면 그중 30건을 다시 라벨링해 오류율부터 잽니다. 견고성 시험으로 같은 표본을 1도 회전, 가우시안 블러, 저해상도 재스캔으로 바꿔 한 번 더 돌립니다. 채점은 정확 일치 대신 필드별 규칙을 둡니다. 날짜 형식 차이, 천 단위 쉼표, 띄어쓰기는 같은 값으로 봅니다. 이 판정은 rubric을 준 LLM-as-judge에 맡기고, 판정의 10%는 사람이 표본 검수합니다.

정답셋유형 5개 × 40건이중 라벨링기존 30건 재검수견고성1도 회전가우시안 블러저해상도 재스캔채점필드별 rubricLLM-as-judge판정 10% 사람 검수
우리 문서로 평가하는 설계 예시. 숫자는 가상 예시입니다.

실패하는 경우와 대응. 대담에서 언급된 어려운 경우를 대응과 짝지으면 이렇습니다. 점이 길게 이어진 목차는 반복 출력이 나오므로 최대 출력 길이와 반복 감지를 겁니다. 두 쪽에 걸친 표는 이어 붙이기 단계를 따로 둡니다. 도면은 영역을 조각으로 잘라 읽습니다. 차트의 데이터 포인트는 일반 모델이 약하니 축 값이 표로 함께 있는지 먼저 찾습니다. 없으면 차트 전용 처리로 보냅니다. 손글씨와 저화질 스캔은 자동 처리 대상에서 빼고 처음부터 검토 큐로 보냅니다. 대규모 처리는 별도 문제입니다. 대담에서도 1,000만 문서 병렬 처리 같은 인프라 요구가 언급됐습니다. 쪽 단위 호출을 큐에 넣고 실패한 쪽만 재처리하게 설계합니다. 비용은 쪽 수로 계산합니다. 정가 쪽당 1센트를 기준으로 하면 월 10만 쪽은 1,000달러이고, 여기에 재추출 비율과 검토 인건비를 더합니다.

현업 실행 디테일: 누가, 언제, 무엇을

역할담당4주 동안 하는 일
스폰서재무·운영 또는 심사 조직 임원대상 문서 업무와 자동 처리 범위 승인
업무 담당문서를 직접 처리하는 실무자 2명필드 목록 작성, 표본 200건 정답 라벨링, 불일치 칸 재검토
엔지니어백엔드 개발자 1명쪼개기·파싱·추출 파이프라인, 검증 규칙, 검토 큐 연결
평가 담당데이터 분석가 1명필드별 precision·recall, 견고성 시험, 기존 정답셋 오류율
리스크·감사담당 1명근거 위치 보관 기준, 자동 처리 금지 문서 유형 지정

시작 전에 세 가지를 준비합니다. 대상 문서 유형 목록과 월 처리량(쪽 수), 문서마다 사람이 옮겨 적는 칸의 목록, 지난 분기에 사람이 잘못 옮겨 생긴 오류 사례 10건입니다.

주차할 일산출물
1주문서 유형 5개 선정, 필드 스키마와 검증 규칙(합계·건수·날짜 순서) 정의스키마 정의서(JSON), 규칙 목록
2주표본 200건 이중 라벨링, 기존 정답셋 30건 재검수검증된 정답셋, 기존 정답셋 오류율
3주후보 도구 2~3개와 프런티어 모델 단독 구성 비교, 견고성 시험필드별 precision·recall 표, 잡음 전후 비교
4주검증 규칙과 자기 검토를 붙인 구성 재시험, 판정 회의자동 처리 범위와 검토 큐 기준, 확대 여부 결정
1주2주3주4주스키마 · 규칙정의정답셋이중 라벨링도구 비교비교 · 견고성판정재시험 · 판정
4주 파일럿 일정(가상 예시). 2주차에 기존 정답셋의 오류율이 나옵니다.

업무 담당과 평가 담당이 함께 확인할 질문은 이렇습니다. 이 문서에 서로 맞아야 하는 숫자나 건수가 있나. 한 행이 빠졌을 때 지금은 누가 언제 알아채나. 잘못 읽은 값이 다음 단계에서 되돌릴 수 있는 결정으로 가나, 되돌릴 수 없는 결정으로 가나. 손글씨나 저화질 스캔 비율은 얼마인가. 기존 정답셋은 누가 무엇으로 만들었나.

진행 판정 기준(가상 예시)은 이렇게 둡니다. 핵심 필드의 recall 99% 이상, precision 99.5% 이상이면 해당 유형은 자동 처리 후 표본 검수로 갑니다. 검증 규칙 통과율이 95% 미만인 유형은 검토 큐에 남깁니다. 잡음을 넣은 뒤 recall이 3%p 넘게 떨어지면 스캔 품질 기준을 먼저 손봅니다. 자동 처리 비율이 60%를 넘지 못하면 확대하지 않고 스키마와 규칙을 다시 짭니다.

자동 처리 + 표본 검수recall 99% 이상precision 99.5% 이상검토 큐 유지규칙 통과율 95% 미만손글씨 · 저화질스캔 기준 손봄잡음 뒤 recall3%p 넘게 하락확대 보류자동 처리 비율60% 미만
진행 판정 기준(가상 예시). 문서 유형별로 따로 판정합니다.

AX 적용 제언. 이 대담이 바꾸게 하는 관행은 두 가지입니다. 하나는 정확도 하나로 도구를 고르는 일입니다. 감사·재무·심사처럼 누락이 곧 사고인 조직에서는 recall을 따로 재고, 문서 안의 합계와 건수를 검증 규칙으로 바꾸는 일부터 시작해야 합니다. 다른 하나는 사람이 만든 정답셋을 의심 없이 쓰는 일입니다. 파일럿 2주차에 기존 정답셋을 다시 검수하면 지금 사람 처리의 오류율이 드러나고, 이 숫자가 경영진에게 자동화의 기준선이 됩니다. 시작점은 수작업 입력이 많고 숫자 검증 단서가 있는 매입 송장, 통관·세무 서류, 대출 서류가 좋습니다. 환자 기록처럼 되돌릴 수 없는 판단으로 이어지는 문서는 검색·요약 보조까지만 열고, 판단은 근거 위치를 확인한 사람이 내리게 합니다.

원문 사례

항목내용
회차a16z Show(a16z Podcast), 2026.10.21, 약 38분
화자Adit Abraham(Reducto 공동창업자 겸 CEO), 진행 Jennifer Li(a16z General Partner)
회사Reducto. 2023년 YC에서 메모리 문제로 시작해 문서 처리로 전환. 창업자들은 컴퓨터 비전 배경
규모한 달 수십억 쪽 처리, 녹화 당일 누적 70억 쪽 돌파, 10월 말 80억 쪽 예상
가격고품질 파싱·추출 정가 쪽당 1센트
기술초기: 전통 컴퓨터 비전 + VLM 교정 루프. 현재: bounding box를 유지하는 통합 모델 R1, 모델 무관 harness Deep Extract, 차트 전용 에이전트, 40개 이상 파일 형식
정확도기존 OCR 70~80%대(진행자 언급), 대부분 사례 90%대 후반 가능, 일부 의료 서류는 현 OCR로 50% 미만
벤치마크독립 기관의 긴 추출 시험에서 프런티어 모델은 precision이 높고 누락이 주된 실패. 공개 벤치마크에 1도 회전·가우시안 블러를 더하자 한 업체 성능 급락
고객Harvey 등 AI 네이티브 기업, 헤지펀드, PE, 기술 기업, 대형 헬스케어, 회계(Basis), 회계 서비스 기업, BPO
다음 계획문서 편집(번역 적용 등), 에이전트용 headless Word 성격의 ChatGPT 플러그인, 평가·모니터링 도구
프런티어 랩에 대해랩은 추론 경쟁 중이고 문서 처리는 끝없는 예외(PDF 안의 PDF, Word 렌더링)를 다루는 인프라라 좁은 집중이 유리하다고 봄

핵심 개념

IDP
Intelligent Document Processing. OCR과 템플릿·규칙으로 양식에서 값을 뽑던 기존 문서 자동화.
VLM
Vision Language Model. 이미지를 입력으로 받아 내용을 이해하고 글로 답하는 모델.
bounding box
원문 쪽 위에서 값이 있는 위치를 가리키는 좌표 상자. 근거 표시와 재검토에 쓴다.
R1
Reducto가 만든 통합 문서 모델. 쪽 전체를 읽으면서 위치 정보를 유지한다.
harness
모델을 감싸 도구·검증·재시도를 붙인 실행 틀. 모델을 바꿔도 같은 틀을 쓴다.
precision / recall
뽑은 값 가운데 맞은 비율 / 있어야 할 값 가운데 뽑아낸 비율.
LLM-as-judge
채점 기준표를 준 언어 모델이 결과를 채점하는 평가 방식.
golden dataset
평가 기준으로 삼는 정답 데이터. 만든 방식에 따라 자체 오류가 섞일 수 있다.
splitting
여러 문서가 섞인 묶음을 문서 단위로 나누는 단계.

내 메모

TODO: 내 생각 추가

원문: a16z Show, “The Missing Infrastructure for AI Agents: Documents | Reducto’s Adit Abraham”(2026.10.21, 화자 Adit Abraham, 진행 Jennifer Li). 요약·메커니즘·통념과 다른 주장·사례·원문 사례 표는 대담의 내용을 AX Review가 다시 정리했으며, 공개 대본과 대담 요약 기사를 대조해 확인했습니다. 대본에서 철자가 불분명한 벤치마크 이름과 일부 통계는 넣지 않았습니다. 수치는 화자의 발언입니다. 기술·현업 디테일, JSON 예시, 검증 규칙, 일정·판정 기준, 인포그래픽은 새로 작성했으며 숫자는 가상 예시입니다. 대담 전체는 a16z 팟캐스트에서 들을 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Enablement아티클

Where to Draw the Line: 전문가용 업무 도구에 채팅·화면·에이전트를 나눠 붙이는 기준

UX Collective · Patrick Neeman

B2B 제품에 일괄로 붙인 채팅창이 숙련자를 오히려 느리게 만들 수 있다는 글입니다. 반복 업무는 화면에 두고, 드문 질문은 채팅으로, 상시 감시는 Ambient Agent로 보내라는 배치 기준과 함께, 티켓 분석·검증 시간·fallback ratio로 판정하는 4주 계획을 붙였습니다.

PM·프로덕트CIO·CTO현업 리더
#생성형 AI#에이전트 2026.10.26 ↗
AX Implementation아티클

Clairic: 추출 전용 모델을 앞에 세운 단계별 파이프라인으로 청구 처리 비용 49% 절감

Cloudflare 블로그 · Alex Reneau, Michelle Chen, Kevin Flansburg

Cloudflare가 문서에서 값만 뽑아내는 추출 모델 Clairic을 미리보기로 내놓고, 보험 청구 처리를 추출(Clairic) → 판단(Clef) → 답장(LLM)으로 나눠 돌려 LLM 단독 대비 비용 49%, 시간 69%를 줄인 시험을 공개했습니다. 반복 문서 업무에 이 구조를 옮기는 필드 설계, 임계값, 4주 파일럿을 붙였습니다.

CIO·CTO현업 리더CFO
#생성형 AI#결정 모델 2026.10.25 ↗
AX Implementation아티클

Forward Deployed Engineering: 시범을 운영까지 끌고 가서 다음 팀이 하루에 쓰게 만드는 법

OpenAI 블로그 · Colin Jarvis

OpenAI의 FDE 책임자 Colin Jarvis가 고객사 AI 도입에서 배운 것을 정리했습니다. 운영 기준 eval을 먼저 세우고, 사용 사례별 맞춤 코드를 공통 harness 위의 skill·plugin으로 바꾸면 첫 배포에 두 달 걸린 일이 다음 팀에는 하루에 넘어갑니다. 우리 조직의 시범 사업을 같은 구조로 돌리는 12주 일정과 판정 기준을 붙였습니다.

AX 추진CIO·CTOCEO
#FDE#에이전트 2026.10.25 ↗