DORA Explorer: 훈련 없이 LLM의 탐색 능력 향상

DORA Explorer: Improving the Exploration Ability of LLMs Without Training

빠른 발전에도 불구하고, 순차적 의사 결정(즉, LLM 에이전트)을 위한 LLM은 여전히 다양한 출력을 생성하는 데 어려움을 겪습니다. 이는 충분하지 않은 탐색, 최적 해로의 수렴 실패, 그리고 반복적인 오류로 이어질 수 있습니다. 이러한 제한 사항은 정보를 수집하고 의사 결정을 내리기 위해 적극적인 탐색이 필요한 환경에서 문제가 될 수 있습니다. 온도 스케일링과 같은 샘플링 방법은 토큰 수준의 무작위성을 도입하지만, 시퀀스 수준에서 충분한 다양성을 생성하지 못합니다. 우리는 고전적인 다액 armed 밴딧(MAB) 환경과 텍스트 어드벤처 학습 환경 스위트(TALES)에서 LLM의 탐색을 분석했습니다. 우리는 현재의 디코딩 전략과 체인 오브 소트(Chain-of-Thought) 및 트리 오브 소트(Tree-of-Thought)와 같은 프롬프팅 방법이 강력한 탐색을 위해서는 충분하지 않다는 것을 발견했습니다. 이를 해결하기 위해, 우리는 LLM 에이전트의 탐색을 향상시키는 훈련이 필요 없는 프레임워크인 DORA Explorer (Diversity-Oriented Ranking of Actions)를 소개합니다. DORA는 다양한 행동 후보를 생성하고, 토큰 로그 확률을 사용하여 이를 평가하고, 조정 가능한 탐색 매개변수를 사용하여 행동을 선택합니다. DORA는 MAB 환경에서 UCB와 경쟁적인 성능을 달성했으며, TALES 환경에서 일관된 성능 향상을 보였습니다. 예를 들어, DORA는 Qwen2.5-7B의 TextWorld 성능을 29.2%에서 45.5%로 향상시켰습니다. 저희 프로젝트는 다음 주소에서 확인할 수 있습니다: https://dora-explore.github.io/.

Large language model (LLM) agents for sequential decision-making struggle to produce diverse outputs. This leads to insufficient exploration, suboptimal solutions, and repeated actions. Actions are generated at the sequence level, but existing sampling strategies, such as temperature scaling, introduce diversity at the token level, not at the sequence level. We introduce DORA EXPLORER (Diversity-Oriented Ranking of Actions), a training-free, inference-time algorithm for improving exploration in LLM agents. DORA generates multiple candidate actions, scores them using sequence-level log-probability statistics, and samples an action via a tunable exploration parameter. We first study exploration in the classic Multi-Armed Bandit setting, where DORA substantially outperforms temperature-based sampling. Our main evaluation is on the Text Adventure Learning Environment Suite (TALES), where prompting strategies fail to explore but DORA delivers consistent gains across model families, e.g., 31.43% (ReAct) -> 45.5% (DORA) for Qwen-2.5 7B in TextWorld. Beyond exploration, DORA prevents common failures, such as getting stuck in loops. Our project is available at: https://dora-explore.github.io/.