에이전틱 추론 지도: 혼자 풀기, 스스로 나아지기, 함께 풀기
LLM 에이전트의 추론을 세 층(기초·자기 진화·집단)과 두 방식(추론 시점 설계·사후 학습)으로 정리한 서베이. 기업 에이전트를 층별로 쌓는 12주 로드맵을 붙였습니다.
LLM을 "한 번 묻고 한 번 답하는 모델"이 아니라 계획하고, 도구를 쓰고, 기억하며, 다른 에이전트와 함께 일하는 주체로 보면, 지금 쏟아지는 에이전트 기법들이 하나의 지도 위에 놓입니다. 기업이 이 지도를 쓰려면 아래 층부터 하나씩 쌓고, 모델을 다시 학습시키는 일은 가장 나중에 하는 것이 순서입니다.
요약
일리노이대 어배너-섐페인(UIUC)을 중심으로 Meta, Amazon, Google DeepMind, UC 샌디에이고, 예일 연구자 20여 명이 2025년까지의 에이전트 연구를 묶어 정리한 서베이(연구 동향을 체계적으로 모은 논문)입니다. 저자들은 LLM이 수학이나 코드처럼 닫힌 문제에서는 잘 추론하지만, 정보가 계속 바뀌는 열린 환경에서는 약하다는 데서 출발합니다. 그래서 추론을 “상호작용”으로 다시 정의하고, 환경이 얼마나 역동적인지에 따라 세 층으로 나눕니다. 첫째 기초 추론은 에이전트 하나가 계획을 세우고, 도구를 쓰고, 검색하는 능력입니다. 둘째 자기 진화 추론은 피드백과 기억을 통해 시간이 지날수록 나아지는 능력입니다. 셋째 집단 추론은 여러 에이전트가 역할을 나누고 기억을 공유하며 함께 푸는 능력입니다. 각 층은 다시 두 방식으로 구현됩니다. 모델 가중치는 그대로 두고 프롬프트·워크플로·오케스트레이션으로 행동을 바꾸는 추론 시점(in-context) 방식과, 지도 학습(SFT)이나 강화학습(RL)으로 그 행동을 모델 안에 새겨 넣는 사후 학습(post-training) 방식입니다.
이 틀 위에서 논문은 대표 기법을 층별로 배치합니다. 계획에는 워크플로 설계, 트리 탐색(BFS·DFS·A*·MCTS·빔 서치), PDDL 같은 기호 표현이, 도구 사용에는 추론과 행동을 번갈아 하는 ReAct에서 Toolformer·ToolLLM 같은 지도 학습, ReTool·ToolRL 같은 강화학습으로 가는 흐름이 놓입니다. 검색은 추론 중에 필요한 정보를 스스로 찾아오는 에이전틱 RAG로, 지식 그래프로 구조를 더한 변형까지 다룹니다. 자기 진화에는 Reflexion처럼 스스로 돌아보는 피드백, 단위 테스트로 검증하고 다시 시도하는 검증기 기반 피드백, 그리고 평면·그래프·멀티모달 기억과 강화학습으로 기억을 관리하는 Memory-R1 같은 방식이 있습니다. 집단 추론에서는 리더·작업자·비평가·기억 관리자 같은 역할과, MetaGPT·ChatDev처럼 소프트웨어 팀 역할을 본뜬 구성이 소개됩니다. 응용 분야로는 수학과 바이브 코딩, 과학 발견, 로봇, 의료, 웹 리서치를 들고, 앞으로의 과제로 개인화, 긴 상호작용, 월드 모델, 멀티 에이전트의 대규모 학습, 겉으로 드러나지 않는 잠재 추론, 실제 배포를 위한 거버넌스를 꼽습니다. 아래 두 절은 이 지도를 기업 에이전트에 적용할 때 필요한 기술 설정과 실행 계획입니다.
기술 디테일: 층별로 무엇을 어떻게 만드나
추론 시점 방식으로 시작하고, 사후 학습은 조건이 맞을 때만 갑니다. 기업 업무는 규칙과 데이터가 자주 바뀌어서, 가중치를 고치면 따라가기 어렵습니다. 먼저 프롬프트·워크플로·도구·검색으로 성능을 끌어올리고, 다음 세 조건을 모두 만족할 때 사후 학습을 검토합니다. 같은 형식의 작업이 하루 수천 건 반복되고, 정답 여부를 자동으로 판정할 수 있으며(검증 가능한 보상), 추론 시점 방식으로 4주 넘게 개선해도 성공률이 더 오르지 않을 때입니다. 사후 학습을 한다면 성공 궤적 수백 건으로 SFT를 먼저 하고, 그 위에 자동 판정 결과를 보상으로 쓰는 RL을 얹습니다.
계획은 규제가 있는 업무일수록 “정해진 워크플로”로 묶습니다. 품질 판정이나 구매 승인처럼 절차가 정해진 일은 에이전트가 자유롭게 계획하게 두지 말고, 단계를 상태 기계(정해진 순서와 분기)로 고정한 뒤 각 단계 안에서만 LLM이 판단하게 합니다. 트리 탐색은 후보를 평가하는 비용이 싼 문제(일정 최적화, 코드 수정 후보 비교)에만 씁니다.
도구는 명세부터 표준화합니다. 에이전트가 쓰는 도구마다 아래처럼 이름, 용도, 입력, 부작용, 권한을 적어 두면, 어떤 도구가 데이터를 바꾸는지(쓰기)와 읽기만 하는지를 에이전트와 사람이 같이 알 수 있습니다. ReAct식 루프는 최대 8~12단계로 제한하고, 모든 도구 호출과 결과를 로그로 남깁니다.
{
"name": "mes_get_lot_history",
"description": "로트 번호로 공정 이력과 검사 결과를 조회한다",
"params": { "lot_id": "string", "from": "date", "to": "date" },
"side_effect": "read_only",
"auth": "quality_viewer",
"timeout_sec": 10,
"max_calls_per_task": 5
}검색은 문서 RAG와 지식 그래프를 나눠 씁니다. “이 규정이 뭐라고 하나”처럼 문장을 찾는 질문은 문서 검색으로, “이 불량과 같은 공급사·같은 부품을 쓴 로트는 어디인가”처럼 관계를 따라가는 질문은 지식 그래프(온톨로지) 질의로 보냅니다. 에이전트가 질문 유형을 먼저 분류하게 하고, 그래프 질의 결과는 근거 노드 ID를 답에 함께 붙입니다.
자기 진화는 “검증기 + 사례 기억”으로 가장 싸게 시작합니다. 결과물을 규칙 검사기(필수 항목 누락, 수치 범위, 형식)로 확인해 실패하면 이유를 붙여 최대 3회 다시 시도하게 합니다. 끝난 작업은 아래처럼 사례 기억으로 저장하고, 다음 작업 때 비슷한 사례 3~5건을 꺼내 참고하게 합니다. 사람이 고친 결과(human_fix)를 반드시 남겨야 기억이 실제로 나아집니다.
{
"case_id": "QA-2026-1042",
"task": "불량 원인 1차 리포트",
"context_keys": { "part": "P-3307", "supplier": "S-12", "defect": "도금 박리" },
"agent_answer": "도금 전처리 온도 편차 의심",
"validator": { "passed": true, "retries": 1 },
"human_fix": "전처리 온도 + 원자재 로트 변경 동시 발생, 원자재 쪽 확인 필요",
"outcome": "원자재 로트 불량 확정",
"reflection": "같은 기간 원자재 로트 변경 여부를 먼저 조회할 것"
}집단 추론은 두 명부터 시작합니다. 처음부터 역할을 여럿 두면 조정 비용이 커집니다. 작업자 에이전트 하나와 비평가 에이전트 하나로 시작해, 비평가가 정해진 체크리스트로 작업자의 결과를 검사하게 합니다. 에이전트끼리는 자유 대화 대신 공유 작업판(구조화된 공용 기억)에 결과와 근거를 적고 읽게 하면, 나중에 누가 무엇을 근거로 판단했는지 추적할 수 있습니다.
층마다 재는 지표가 다릅니다. 기초 층은 작업 성공률, 도구 호출 정확도, 작업당 단계 수와 비용을, 자기 진화 층은 같은 유형 작업의 주차별 성공률 변화와 사람 수정률을, 집단 층은 단일 에이전트 대비 성공률 향상과 추가 비용을 봅니다.
| 층 | 핵심 지표 | 예시 목표 |
|---|---|---|
| 기초 | 작업 성공률, 도구 호출 정확도, 작업당 비용 | 성공률 80% 이상, 잘못된 도구 호출 5% 이하 |
| 자기 진화 | 주차별 성공률 변화, 사람 수정률 | 4주간 사람 수정률 절반으로 |
| 집단 | 단일 대비 성공률 향상, 추가 비용 | 성공률 +10%p 이상, 비용 2배 이하 |
현업 실행 디테일: 누가, 언제, 무엇을
네 역할이 필요합니다.
| 역할 | 누가 | 맡는 일 |
|---|---|---|
| 프로세스 오너 | 해당 업무 팀장(예: 품질팀장) | 대상 업무 선정, 성공 기준 승인, 결과 사용 결정 |
| AI 엔지니어 | FDE 또는 사내 AI팀 1~2명 | 도구 명세, 워크플로, 검증기, 기억, 평가 세트 구축 |
| 도메인 검토자 | 현업 실무자 2명 | 에이전트 결과 검토와 수정(human_fix) 입력 |
| 보안·IT | IT 담당 1명 | 도구 권한, 쓰기 작업 승인 절차, 로그 보관 |
시작 전에 모을 것. 대상 업무의 실제 흐름(가능하면 프로세스 마이닝으로 본 경로), 에이전트가 쓸 시스템 API 목록(MES·ERP·문서 저장소), 결과가 확정된 과거 사례 50건(평가 세트), 사람이 이 업무에 쓰는 현재 시간입니다.
| 기간 | 층 | 할 일 | 산출물 |
|---|---|---|---|
| 1~4주 | 기초 | 업무 1개 선정, 도구 명세 작성, 워크플로 고정, 과거 50건으로 평가 | 성공률·비용 기준선 |
| 5~8주 | 자기 진화 | 검증기 추가, 사례 기억 저장 시작, 검토자 수정 입력 | 주차별 성공률·사람 수정률 추이 |
| 9~12주 | 집단 | 비평가 에이전트 추가, 인접 업무(예: 구매) 에이전트와 공유 작업판 연결 | 단일 대비 성공률·비용 비교, 확산 여부 결정 |
층을 올리기 전에 묻는 질문.
- 지금 층에서 성공률이 목표에 닿았나, 아니면 아직 도구나 데이터 문제인가?
- 실패한 사례 20건을 열어 보면 원인이 한쪽으로 몰려 있나?
- 사람 검토자가 매주 고친 내용이 기억에 실제로 쌓이고 있나?
- 다음 층에서 늘어나는 비용(호출 수, 검토 시간)을 감당할 효과가 있나?
진행 판정 기준을 미리 정합니다. 예를 들어 4주차에 과거 50건 중 40건 이상 맞히면 자기 진화 층으로, 8주차에 사람 수정률이 처음의 절반 이하로 줄면 집단 층으로 넘어갑니다. 어느 단계든 쓰기 작업(시스템 데이터 변경)은 사람 승인 없이는 실행하지 않는다는 규칙을 처음부터 둡니다.
AX 프로젝트에 쓸 때. 이 세 층은 AX 로드맵과 그대로 겹칩니다. 프로세스 마이닝으로 대상 업무를 고르는 것이 진단, 온톨로지를 에이전트의 구조화된 기억과 검색 대상으로 붙이는 것이 연결, 검증기와 평가 세트가 검증, 현장 검토자와 함께 돌리는 12주가 배포, 인접 부서 에이전트와 공유 작업판으로 잇는 것이 확산입니다. 특히 지식 그래프는 자기 진화 층의 기억과 집단 층의 공유 기억을 한 구조로 묶어 주기 때문에, 처음부터 온톨로지 위에 사례 기억을 쌓아 두면 나중에 에이전트를 늘릴 때 다시 만들 필요가 없습니다.
원문 사례
| 항목 | 내용 |
|---|---|
| 논문 | Agentic Reasoning for Large Language Models (arXiv 2601.12538, 2026년 1월 18일) |
| 저자 | Tianxin Wei, Ting-Wei Li, Zhining Liu(공동 1저자) 외, 교신 Jingrui He·Heng Ji |
| 소속 | UIUC 중심, Meta, Amazon, Google DeepMind, UC 샌디에이고, 예일 |
| 유형 | 서베이(새 실험 없이 2025년까지의 연구를 체계화) |
| 핵심 주장 | 추론을 상호작용으로 보고, 계획·행동·학습을 하나의 틀로 묶는다 |
| 세 층 | 기초 추론(계획·도구·검색) · 자기 진화 추론(피드백·기억·적응) · 집단 추론(역할·협업·공유 기억) |
| 두 방식 | 추론 시점(가중치 고정, 오케스트레이션) · 사후 학습(SFT·RL로 가중치에 내재화) |
| 층별 대표 기법 | 계획: 워크플로, 트리 탐색, PDDL · 도구: ReAct, Toolformer, ToolLLM, ReTool, ToolRL, HuggingGPT · 검색: 에이전틱 RAG, Search-R1, WebGPT, 지식 그래프 강화 · 자기 진화: Reflexion, Self-Refine, 검증기 기반 재시도, MemAgent, Memory-R1 · 집단: MetaGPT, ChatDev식 역할 구성 |
| 응용 분야 | 수학·바이브 코딩(OpenHands), 과학 발견, 로봇, 의료, 웹 리서치 |
| 평가 범주 | 도구 사용(단일·다중 턴), 검색(단일·멀티모달), 기억·계획(LOCOMO, LongMemEval 등), 멀티 에이전트 |
| 향후 과제 | 개인화, 긴 상호작용, 월드 모델, 멀티 에이전트 대규모 학습, 잠재 추론, 배포 거버넌스 |
핵심 개념
- 에이전틱 추론
- 한 번에 답을 내는 대신, 계획하고 행동하고 결과를 보고 다시 판단하는 과정을 되풀이하며 문제를 푸는 방식.
- 추론 시점 방식
- 모델은 그대로 두고 프롬프트, 워크플로, 도구 연결로 행동을 바꾸는 방법. 빠르고 되돌리기 쉽습니다.
- 사후 학습
- 지도 학습이나 강화학습으로 원하는 행동을 모델 가중치에 새겨 넣는 방법. 반복이 많고 정답 판정이 쉬운 일에 맞습니다.
- ReAct
- 생각(Reason)과 행동(Act)을 번갈아 하며, 도구를 쓴 결과를 보고 다음 생각을 이어 가는 에이전트 패턴.
- 에이전틱 RAG
- 미리 정해진 검색 한 번이 아니라, 에이전트가 추론 중에 필요한 정보를 스스로 판단해 여러 번 찾아오는 검색 방식.
- 검증 가능한 보상
- 테스트 통과, 규칙 충족처럼 사람 없이 자동으로 맞고 틀림을 판정할 수 있는 학습 신호.
내 메모
TODO: 내 생각 추가
원문은 Tianxin Wei 외의 서베이 「Agentic Reasoning for Large Language Models」(arXiv 2601.12538)입니다. 요약과 원문 사례는 논문 내용을 AX Review가 다시 정리한 것이고, 기술·현업 실행 디테일, JSON 예시, 지표표, 12주 로드맵, 도식은 새로 작성했습니다. 논문 전체는 원문 링크에서 볼 수 있습니다.