LANTERN: 대규모 언어 모델 기반 신경-기호적 전이 학습 방법 - 경험 기반 추론 네트워크를 활용

LANTERN: LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks

강화 학습(RL)에서의 전이 학습은 관련 정보원으로부터 얻은 지식을 활용하여 새로운 작업에서의 학습 속도를 높이는 것을 목표로 합니다. 기존의 신경-기호적 전이 학습 방법은 일반적으로 수동으로 정의된 작업 오토마타에 의존하며, 단일 정보원을 가정하고, 다양한 정보원의 관련성에 적응할 수 없는 고정된 지식 통합 메커니즘을 사용합니다. 본 연구에서는 이러한 한계를 극복하기 위해 다중 정보원을 활용하는 통합 신경-기호적 전이 학습 프레임워크인 LANTERN을 제안합니다. LANTERN은 세 가지 주요 구성 요소로 이루어집니다: (i) 대규모 언어 모델을 사용하여 자연어 작업 설명을 기반으로 생성된 결정적 유한 오토마타, (ii) 의미 임베딩 기반 다중 정보원 정책을 집계하며, 교차 작업 유사성에 따라 가중치를 부여, (iii) 시차 오차 및 의미 불확실성을 기반으로 적응적인 교사-학생 게이팅 메커니즘. 자원 관리, 탐색, 제어 등 다양한 분야에서 LANTERN은 기존 방법 대비 40~60%의 샘플 효율성 향상을 달성했으며, 일치성이 낮은 정보원에도 강건함을 유지합니다. 이러한 결과는 다중 정보원을 활용하고, 적응적으로 가중치를 부여하는 신경-기호적 전이 학습이 기호적 강화 학습 환경에서 확장성과 강건성을 향상시킬 수 있음을 보여줍니다.

Transfer learning in reinforcement learning (RL) seeks to accelerate learning in new tasks by leveraging knowledge from related sources. Existing neurosymbolic transfer methods, however, typically rely on manually specified task automata, assume a single source task, and use fixed knowledge-integration mechanisms that cannot adapt to varying source relevance. We propose LANTERN, a unified framework for multi-source neurosymbolic transfer that addresses these limitations through three components: (i) deterministic finite automata generated from natural language task descriptions using large language models, (ii) semantic embedding-based aggregation of multiple source policies weighted by cross-task similarity, and (iii) adaptive teacher-student gating based on temporal-difference error and semantic uncertainty. Across domains spanning resource management, navigation, and control, LANTERN achieves 40-60% improvements in sample efficiency over existing baselines while remaining robust to poorly aligned sources. These results demonstrate that multi-source, adaptively weighted neurosymbolic transfer can improve scalability and robustness in symbolic RL settings.