구체화된 벤치마크 구축을 위한 지능형 자동화: 파이프라인, 구현 방식, 시뮬레이터 및 동향

Intelligent Automation for Embodied Benchmark Construction: Pipelines, Embodiments, Simulators, and Trends

구체화된 인공지능은 현재 내비게이션, 가사 지원, 조작, 자율 주행, 항공 로봇 및 멀티모달 대규모 모델 제어 등 다양한 분야로 확장되었습니다. 이러한 확장은 신뢰성 있는 평가를 위한 벤치마크 구축을 중요한 병목 현상으로 만들었습니다. 정적인 데이터 세트와 달리, 구체화된 벤치마크는 작업 정의, 환경, 로봇 데이터, 데모 영상, 어노테이션, 측정 지표, 평가 스크립트 및 공개 정책을 하나의 평가 시스템으로 통합합니다. 본 논문은 5단계의 벤치마크 구축 파이프라인을 통해 문헌을 검토합니다. 단계는 다음과 같습니다: 요구사항 및 작업 정의, 데이터 수집, 데이터 정제 및 어노테이션, 벤치마크 스위트 생성 및 지표 정의, 그리고 진단 피드백과 함께 평가 실행. 각 단계에서 본 논문은 수동 관리에서 전통적인 자동화, 기초 모델 지원 및 에이전트 기반 폐루프 워크플로우로의 전환을 분석합니다. 또한, 인적 노동, 데이터 및 자산 획득, 컴퓨팅 및 시뮬레이션, 검증 및 디버깅, 거버넌스 및 유지 관리, 그리고 재작업 위험 측면에서 정성적인 구축 비용을 비교합니다. 주요 결론은 자동화가 단순히 벤치마크 구축 비용을 줄이는 것이 아니라는 점입니다. 오히려 자동화는 종종 검증, 감사 가능성, 버전 관리 및 장기적인 거버넌스로의 비용 이동을 야기합니다. 따라서 구체화된 평가의 발전은 더 큰 벤치마크 스위트뿐만 아니라 진단 가능하고, 감사 가능하며, 책임감 있게 업데이트될 수 있는 구축 파이프라인에 달려 있습니다.

Embodied intelligence now spans navigation, household assistance, manipulation, autonomous driving, aerial agents, and multimodal large-model control. This expansion has made benchmark construction a central bottleneck for reliable evaluation. Unlike static datasets, embodied benchmarks combine task specifications, environments, robot data, demonstrations, annotations, metrics, evaluation scripts, and release policies into a single evaluation system. This survey reviews the literature through a five-stage construction pipeline: requirement and task construction, data acquisition, data cleaning and annotation, benchmark suite generation and metric definition, and evaluation execution with diagnostic feedback. For each stage, the survey analyzes the transition from manual curation to traditional automation, foundation-model assistance, and agentic closed-loop workflows. It also compares qualitative construction costs across human labor, data and asset acquisition, compute and simulation, validation and debugging, governance and maintenance, and rework risk. The main conclusion is that automation does not simply reduce benchmark cost. Instead, it often shifts cost toward validation, auditability, version control, and long-term governance. Progress in embodied evaluation will therefore depend not only on larger benchmark suites, but also on construction pipelines that are diagnosable, auditable, and responsibly refreshable.