IcFuzz: 의미 기반 단계 가이드 및 다단계 변이법을 활용한 Isaac Sim 퍼징

IcFuzz: Fuzzing Isaac Sim with Semantic Stage Guidance and Multi-level Mutation

로봇 시뮬레이터는 임베디드 AI를 위한 핵심 인프라로서, 안전하고 확장 가능한 로봇 시스템 개발을 지원합니다. NVIDIA Isaac Sim은 GPU 가속 물리 엔진과 사실적인 렌더링을 특징으로 하는 가장 인기 있는 시뮬레이터 중 하나이며, 복잡한 환경에 대한 고정밀 모델링을 가능하게 합니다. 그러나 그 내재된 복잡성은 필연적으로 시뮬레이션의 신뢰성을 저해할 수 있는 소프트웨어 버그를 유발합니다. 기존의 퍼징 접근 방식은 문맥 인지 객체 의미, 계층적 시뮬레이션 제어 및 방대한 시뮬레이션 상태 공간이라는 문제로 인해 Isaac Sim을 효과적으로 테스트하는 데 어려움을 겪습니다. 본 논문에서는 Isaac Sim을 위한 최초의 퍼징 접근 방식인 IcFuzz를 제안합니다. IcFuzz는 먼저 LLM 기반의 의미 단계 분할을 수행하여 시뮬레이션 프로그램을 문맥 인지 객체 의미를 포착하는 구조화된 단계로 분해합니다. 이 정보를 바탕으로, IcFuzz는 계층적 세분성 수준에서 시뮬레이터를 체계적으로 테스트하기 위한 다단계 변이 연산자를 설계합니다. 방대한 시뮬레이션 상태 공간을 효율적으로 탐색하기 위해, IcFuzz는 적응적으로 변이 연산자를 스케줄링하기 위해 멀티암드 밴딧 알고리즘을 사용합니다. 실험 결과는 IcFuzz가 코드 커버리지 및 버그 감지 측면에서 기존 방식보다 우수한 성능을 보임을 보여줍니다. 구체적으로, IcFuzz는 기준 모델 대비 약 190%~205%의 코드 커버리지를 달성했으며, 세 번의 12시간 테스트에서 평균 3.7개의 고유한 충돌(crash)을 감지했습니다. 반면, 기준 모델에서는 충돌이 전혀 발생하지 않았습니다. 또한, IcFuzz는 약 4개월 동안 11개의 버그를 발견했으며, 이 중 9개는 개발자가 확인하거나 수정했습니다.

Robotics simulators serve as a foundational infrastructure for embodied AI, facilitating safe and scalable robotic system development. NVIDIA Isaac Sim has emerged as one of the most popular simulators, distinguished by its GPU-accelerated physics engine and photorealistic rendering, which enable high-fidelity modeling of complex environments. However, its inherent complexity inevitably introduces software bugs that can compromise simulation reliability. Existing fuzzing approaches struggle to test Isaac Sim effectively due to challenges of context-aware object semantics, hierarchical simulation control, and a vast simulation state space. In this paper, we propose IcFuzz, the first fuzzing approach for Isaac Sim. IcFuzz first performs an LLM-based semantic stage segmentation, decomposing simulation programs into structured stages that capture context-aware object semantics. Guided by this information, IcFuzz designs multi-level mutation operators to systematically exercise the simulator across hierarchical granularities. To efficiently navigate the vast simulation state space, IcFuzz employs a multi-armed bandit algorithm to adaptively schedule mutation operators. Experimental results show that IcFuzz outperforms the baselines in terms of both code coverage and bug detection. Specifically, IcFuzz achieves approximately 190\%--205\% of the code coverage of the baselines and detects an average of 3.7 unique crashes over three rounds of 12-hour tests, while no crashes are detected by the baselines. Moreover, IcFuzz has uncovered 11 bugs over approximately four months, 9 of which have been confirmed or fixed by the developers.