영아의 자연스러운 움직임 노이즈가 심층 강화 학습에서의 탐색 성능을 향상시킨다

Infant Spontaneous Movement Noise Improves Exploration in Deep RL

심층 강화 학습(RL)에서 탐색은 일반적으로 시간적으로 상관관계가 없는 백색 잡음으로 구현됩니다. 그러나 최근 연구에서는 시간적으로 상관관계가 있는 색잡음이 부드러운 궤적을 생성하여 상태 공간의 더 나은 커버리지를 제공함으로써 탐색 효율성을 향상시킬 수 있다는 결과가 나타났습니다. 본 논문에서는 영아의 자연스러운 움직임에서 영감을 받은 동작 노이즈가 심층 RL에서의 탐색 성능을 개선할 수 있는지 조사합니다. 연구 결과, 아기의 엔드-이펙터 속도의 파워 스펙트럼 밀도는 연령이 증가함에 따라 스펙트럴 지수가 증가하는 색잡음 과정을 따릅니다. 이러한 발달 패턴에서 영감을 받아, RL 훈련 과정 동안 탐색 노이즈의 시간적 자기 상관성을 점진적으로 증가시키는 메커니즘을 도입하여 아기의 통계와 일치시켰습니다. 여러 RL 환경에서의 실험 결과, 영아에게서 영감을 받은 잡음은 구조화된 탐색 행동을 유발하며 기존의 탐색 전략에 비해 학습 효율성을 향상시킬 수 있음을 보여줍니다. 이러한 결과는 인간의 운동 및 인지 발달이 인공 에이전트의 학습 메커니즘 설계에 유용한 지침을 제공할 수 있다는 것을 시사합니다. 본 연구의 코드는 https://github.com/trieschlab/baby-noise-rl 에서 확인할 수 있습니다.

Exploration in deep reinforcement learning (RL) is commonly implemented as temporally uncorrelated white noise. However, recent works show that temporally correlated colored noise can improve exploration efficiency by producing smooth trajectories with better coverage of the state space. We inquire whether action noise inspired by infant spontaneous movements can also improve exploration in deep RL. We find that the power spectral densities of babies' end-effector velocities follow a colored noise process where the spectral exponent increases with age. Inspired by this developmental pattern, we introduce a mechanism that progressively increases the temporal auto-correlation of exploration noise during RL training, matching the infant statistics. Experiments across several RL environments show that infant-inspired noise produces structured exploratory behavior and can improve learning efficiency compared to conventional exploration strategies. These findings suggest that human motor and cognitive development can provide useful guidance for designing learning mechanisms in artificial agents. Our code is available at https://github.com/trieschlab/baby-noise-rl.