Trace2Policy: 전문가 행동 추적 데이터를 활용한 자가 진화형 의사 결정 에이전트

Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents

기업 전문가들이 감사, 규정 준수 및 계약 검토 과정에서 암묵적으로 적용하는 의사 결정 규칙을 반복적인 오류 분석을 통해 체계적으로 복원하고 개선할 수 있습니다. 본 논문에서는 **Trace2Policy**를 제안하며, 핵심 메커니즘인 **EISR (오류 기반 반복적 기술 정교화)**은 사람이 읽기 쉬운 규칙 문서를 최적화 대상으로 유지합니다. 각 단계는 규칙을 검증 데이터 세트에 적용하고, 오류의 근본 원인을 기준으로 MISSING(누락), WRONG(잘못됨), CONFLICT(충돌) 유형으로 분류하며, 목표 지향적인 패치를 적용하고, 회귀 테스트를 통과하는 경우에만 변경 사항을 반영합니다. **규정 준수가 중요한 의사 결정 작업의 경우, 모델의 성능보다는 규칙의 품질이 성능 향상을 위한 주요 요소입니다.** 다섯 가지 LLM(대규모 언어 모델)에서 one-shot distillation 방식으로 약 70%의 성능을 보였던 반면, EISR 과정을 8번 반복하여 동일한 규칙을 deterministic Python 코드로 변환하면 79.6%의 성능 향상을 달성했습니다. **실행 방식 또한 중요한 역할을 합니다.** 실제 운영 환경에서 EISR로 개선된 콘텐츠를 컴파일된 Python 코드 형태로 실행했을 때 LLM 프롬프트보다 평균 9.8%p 더 높은 성능을 보였으며, 이러한 효율성은 22일 동안의 개발 및 엔지니어링 과정을 통해 완성되었습니다. 주요 물류 회사(3,349건의 감사 사례)에서 22일 동안 운영된 결과, 컴파일된 파이프라인은 기존 LLM 기반 시스템(72.7%)보다 우수한 성능을 보였으며, 이러한 특정한 작업 환경에서는 LLM 기능을 다시 활성화하면 정확도가 오히려 감소했습니다. LLM 기반 변형인 **Auto-EISR**은 전문가가 소요하는 시간 대비 훨씬 저렴한 비용($5~$10/cycle)으로 동일한 정교화 과정을 수행하며, 별도의 재구현 없이 법률 추론(LegalBench) 및 프로세스 마이닝(BPIC 2012)을 포함한 네 가지 공개 벤치마크에 적용될 수 있습니다.

Decision rules that enterprise experts apply tacitly -- in auditing, compliance, and contract review -- can be systematically recovered and improved through iterative error analysis. We present \textbf{Trace2Policy}, whose core mechanism -- \textbf{EISR} (\textbf{E}rror-driven \textbf{I}terative \textbf{S}kill \textbf{R}efinement) -- maintains a human-readable rule document as its optimization target: each round executes the rules on a validation set, clusters errors by root cause into MISSING, WRONG, or CONFLICT types, applies targeted patches, and commits only those that pass a regression gate. \textbf{For this class of compliance-sensitive, skewed-base-rate decision tasks, we identify rule quality -- not model capability -- as the dominant performance lever}: across five LLMs, one-shot distillation plateaus near $\sim$70\% on the deployed pool, while eight EISR rounds lift the same rules to 79.6\% when compiled into deterministic Python -- zero LLM calls at inference. \textbf{Execution form compounds the gain: in production, the same EISR-refined content runs 9.8~pp higher as compiled Python than as an LLM prompt, a form-and-engineering bundle the 22-day deployment matured together.} Deployed for 22 days at a major logistics carrier (3,349 audit cases), the compiled pipeline outperforms the pure-LLM baseline it replaced (72.7\%); on these calibrated, skewed-base-rate workloads, re-enabling LLM fallback monotonically degrades accuracy. An LLM-driven variant, \textbf{Auto-EISR}, reproduces this refinement at \$5--\$10 per cycle versus $\sim$70 expert-hours, and transfers to four public benchmarks spanning legal reasoning (LegalBench) and process-mining decisions (BPIC 2012) without re-engineering.