가능성(Affordances)이 LLM을 활용한 부분적인 세계 모델링을 가능하게 한다

Affordances Enable Partial World Modeling with LLMs

세계를 완벽하게 모델링하려면 엄청난 양의 상세한 지식이 필요합니다. 사전 훈련된 대규모 모델은 방대한 인터넷 데이터에 대한 광범위한 사전 훈련 덕분에 유사한 지식을 포함하고 있을 것으로 예상되지만, 이러한 모델을 검색 절차에 직접 사용하는 것은 비효율적이고 부정확합니다. 반대로, 부분 모델은 특정 상태 및 행동에 대한 고품질 예측에 집중하며, 이는 사용자의 의도를 달성하기 위해 연결된 가능성을 통해 이루어집니다. 대규모 모델을 부분 세계 모델로 간주할 수 있을까요? 우리는 이 질문에 대해 공식적인 답변을 제시하고, 작업에 독립적이고 언어 기반의 의도를 달성하는 에이전트는 필연적으로 가능성에 의해 정보가 제공되는 예측적인 부분 세계 모델을 가지고 있다는 것을 증명합니다. 다중 작업 환경에서, 우리는 분포-강건한 가능성을 도입하고, 부분 모델을 추출하여 검색 효율성을 크게 향상시킬 수 있음을 보여줍니다. 탁상 로봇 작업에 대한 실험적 평가 결과, 가능성을 고려한 부분 모델은 검색 분기 수를 줄이고 전체 세계 모델과 비교하여 더 높은 보상을 달성하는 것으로 나타났습니다.

Full models of the world require complex knowledge of immense detail. While pre-trained large models have been hypothesized to contain similar knowledge due to extensive pre-training on vast amounts of internet scale data, using them directly in a search procedure is inefficient and inaccurate. Conversely, partial models focus on making high quality predictions for a subset of state and actions: those linked through affordances that achieve user intents~\citep{khetarpal2020can}. Can we posit large models as partial world models? We provide a formal answer to this question, proving that agents achieving task-agnostic, language-conditioned intents necessarily possess predictive partial-world models informed by affordances. In the multi-task setting, we introduce distribution-robust affordances and show that partial models can be extracted to significantly improve search efficiency. Empirical evaluations in tabletop robotics tasks demonstrate that our affordance-aware partial models reduce the search branching factor and achieve higher rewards compared to full world models.