에이전트 기반 평가 시스템: Judge-as-a-Agent

Agent-as-a-Judge

LLM-as-a-Judge는 대규모 언어 모델을 활용하여 확장 가능한 평가를 가능하게 함으로써 AI 평가 방식을 혁신했습니다. 그러나 평가 대상이 점점 더 복잡하고 전문화되며 다단계로 진행됨에 따라, LLM-as-a-Judge의 신뢰성은 고유한 편향, 피상적인 단일 단계 추론, 그리고 실제 관찰을 통한 평가 검증 불가능성 때문에 제약될 수 있습니다. 이러한 문제점은 Agent-as-a-Judge로의 전환을 촉발했으며, Agent-as-a-Judge는 계획 수립, 도구 기반 검증, 다중 에이전트 협업, 그리고 지속적인 기억 기능을 활용하여 더욱 강력하고 검증 가능하며 미묘한 평가를 가능하게 합니다. 이러한 에이전트 기반 평가 시스템이 빠르게 확산되고 있지만, 이 변화하는 환경을 탐색할 수 있는 통합적인 프레임워크는 부족합니다. 이러한 격차를 해소하기 위해, 우리는 이 진화 과정을 추적하는 최초의 종합적인 연구를 제시합니다. 구체적으로, 우리는 이 패러다임 전환을 특징짓는 주요 차원을 식별하고 개발 분류 체계를 구축합니다. 또한, 핵심 방법론을 정리하고 일반 및 전문 분야의 응용 사례를 조사합니다. 더 나아가, 우리는 최첨단 과제를 분석하고 유망한 연구 방향을 제시하며, 궁극적으로 차세대 에이전트 기반 평가를 위한 명확한 로드맵을 제공합니다.

LLM-as-a-Judge has revolutionized AI evaluation by leveraging large language models for scalable assessments. However, as evaluands become increasingly complex, specialized, and multi-step, the reliability of LLM-as-a-Judge has become constrained by inherent biases, shallow single-pass reasoning, and the inability to verify assessments against real-world observations. This has catalyzed the transition to Agent-as-a-Judge, where agentic judges employ planning, tool-augmented verification, multi-agent collaboration, and persistent memory to enable more robust, verifiable, and nuanced evaluations. Despite the rapid proliferation of agentic evaluation systems, the field lacks a unified framework to navigate this shifting landscape. To bridge this gap, we present the first comprehensive survey tracing this evolution. Specifically, we identify key dimensions that characterize this paradigm shift and establish a developmental taxonomy. We organize core methodologies and survey applications across general and professional domains. Furthermore, we analyze frontier challenges and identify promising research directions, ultimately providing a clear roadmap for the next generation of agentic evaluation.