AI 에이전트가 과제가 얼마나 단순한지 알 수 있을까? 복잡성을 고려한 추론 및 실행을 향하여

Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution

대규모 언어 모델(LLM) 기반 에이전트는 다단계 엔지니어링 및 정보 처리 워크플로우를 자동화하는 데 점점 더 많이 사용되지만, 실제로 과제를 수행하는 데 필요한 노력이 얼마나 되는지에 대한 질문은 거의 하지 않습니다. 이러한 에이전트들은 종종 최대 컨텍스트 우선 전략을 따르며, 이미 확인한 파일과 의존성을 반복적으로 읽어 하나의 라인 수정 작업을 작은 코드베이스 전체의 감사 작업으로 확장합니다. 우리는 이 문제의 핵심이 과제 인지 실행 범위 추정 능력 부족이라고 주장합니다. 즉, 에이전트는 과제의 난이도, 실제로 필요한 정보, 그리고 예산을 투입하기 전에 가장 짧고 안정적인 경로를 판단해야 합니다. 본 연구에서는 최소 충분 실행(minimum-sufficient execution)과 에이전트 인지 중복 비율(Agent Cognitive Redundancy Ratio, ACRR)을 정의하고, E3 (Estimate, Execute, Expand)라는 새로운 방법을 제안합니다. E3는 에이전트가 초기 운영 지점을 추정하고, 최소 실행 경로를 실행한 후, 검증에 실패할 경우에만 범위를 확장하는 방식입니다. MSE-Bench라는 121개의 수정 작업을 포함하는 능동적 시뮬레이션 환경에서, E3는 최고 성능의 기준 모델과 동일한 100% 성공률을 달성하면서 비용을 85%, 토큰 사용량을 91%, 검사 파일 수를 92% 줄였으며, 강력한 적응형 검색 기반 모델보다도 16% 더 뛰어난 성능을 보였습니다. 이러한 개선 효과는 다양한 명령 프롬프트에 대해서도 유지되었으며, 거의 모든 비용 가중치 조건에서도 유효했습니다. 실제 모델 환경(LLM-Case)에서 gpt-4o 에이전트를 사용하여 실제 오픈 소스 라이브러리를 수정하는 실험 결과, E3가 가장 효율적이고 빠른 정책임을 확인했으며, 성공률은 유사했지만 불필요한 데이터 읽기는 여전히 존재했습니다. 본 연구는 실행 중복에 대한 통제된 탐구를 제시하며, 이는 배포된 특정 에이전트의 성능 측정이 아니라, 과제의 실제 엔지니어링 현실을 반영하는 AI (EGAI) 개발을 위한 단계입니다. 본 연구에서 사용한 프레임워크와 벤치마크를 공개합니다.

Large language model (LLM) agents increasingly automate multi-step engineering and informatics workflows, yet they rarely ask how much effort a task actually requires. They often follow a maximum-context-first strategy--re-reading files and dependencies they have already seen--turning a one-line edit into a small code-base audit. We argue the missing capability is task-aware execution-scope estimation: judging a task's difficulty, the information it truly needs, and the shortest reliable path before committing budget. We formalize minimum-sufficient execution and the Agent Cognitive Redundancy Ratio (ACRR), and propose E3 (Estimate, Execute, Expand): the agent estimates an initial operating point, executes a minimum viable path, and expands scope only when verification fails. On MSE-Bench--a deterministic benchmark of 121 edits in a capability-controlled simulator--E3 matches the strongest baseline's 100% success while cutting cost by 85%, tokens by 91%, and inspected files by 92%, and further beats a strong adaptive retrieval baseline by 16%; the gains survive held-out instruction wording and essentially every cost weighting. A companion real-model harness (LLM-Case) corroborates the effect on a live gpt-4o agent editing a real open-source library, with every candidate patch graded by actually running the project's real pytest suite against a measured oracle: the over-reading is milder but real, and E3 is the leanest and fastest policy at comparable task success--its one shortfall a provider rate-limit, not a wrong edit. We frame this as a controlled probe of execution redundancy, not a measurement of any deployed agent, and position task-aware execution as a step toward engineering-grounded AI (EGAI)--agents whose effort is anchored in the engineering reality of the task. We release the framework and benchmark.