RGB-D 카메라를 이용한 임베디드 장치에서의 어포던스 분할을 위한 패레토 최적 프론트 구축

Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras

심층 센서는 웨어러블 로봇에서 어포던스 분할을 위해 RGB 데이터와 함께 사용될 잠재력을 가지고 있지만, 실제 활용은 아직 미흡한 실정입니다. 본 논문에서는 하드웨어 제약 조건을 고려한 신경망 아키텍처 검색 기법과 심층 정보(D)를 소형 네트워크에 통합하기 위한 새로운 검색 공간 설계, 그리고 RGB 데이터와 심층 정보를 병합하여 기존 아키텍처와 호환되도록 하는 전처리 레이어를 포함하는 특화된 미세 조정 방법을 제안합니다. 제안된 방법은 최신(휴대용) 하드웨어 가속기를 활용하고 기존의 제한적인 접근 방식이 해결하지 못하는 중요한 시나리오를 극복하여, 일반화 성능과 하드웨어 요구 사항 간의 균형을 맞추는 패레토 최적 프론트를 생성하는 것을 목표로 합니다. 실제 데이터셋에 대한 광범위한 실험 결과는 제안된 방법이 기존 솔루션보다 효과적임을 입증합니다. 본 논문에서는 Jetson Nano 보드와 RealSense RGB-D 카메라를 포함하는 프로토타입 시스템을 자세히 설명하며, 스마트폰에 사용되는 일반적인 배터리와 호환 가능한 에너지 예산 내에서 실시간 성능을 달성할 수 있음을 보여줍니다.

While depth sensors have the potential to complement RGB data for affordance segmentation in wearable robots, their usage seems to remain underexplored. The paper proposes two approaches: a reformulated version of hardware-aware neural architecture search, endowed with a newly designed search space to integrate depth (D) information into small-sized deep networks, and a dedicated fine-tuning approach, including a preprocessing layer to merge depth information with RGB data and make it compatible with conventional architectures. In both cases, those methods aim to generate solutions that benefit from modern (portable) hardware accelerators and overcome existing tiny-like approaches, which often fail to tackle critical scenarios due to the severe constraints set by the supporting hardware. Extensive experiments on a pair of real-world datasets demonstrate the effectiveness of the proposed method as compared with existing solutions. The approach presented in the paper generates, in most cases, solutions that identify the Pareto optimal front to balance generalization performance and hardware requirements. The paper also describes the supporting prototype, including a Jetson Nano board and a RealSense RGB-D camera. When considering the energy profile of the device, the overall system can attain real-time performances within an energy budget that is compatible with standard batteries, such as those used in smartphones.