언어 에이전트의 작업 무감각성 진단

Diagnosing Task Insensitivity in Language Agents

대규모 언어 모델은 강력한 장기 계획 기능을 가진 에이전트로 활용될 수 있지만, 데이터 분포 외부(OOD) 환경에서의 일반화 성능은 여전히 취약합니다. 본 연구에서는 이러한 문제의 주요 원인을 작업 무감각성으로 규정합니다. 즉, 모델은 유사하지만 구별되는 작업을 수행할 때, 훈련 과정에서 학습된 패턴을 적용하여 현재 주어진 문제를 해결하지 못하는 경우가 많습니다. 우리는 모델이 종종 원래 작업과 관련된 행동을 지속하며, 심지어 의미적으로 왜곡되어 직접적인 답변이 불가능한 지시문을 받더라도 이러한 경향을 보이는 것을 확인했습니다. 또한, 훈련된 프롬프트에서 작업 설명을 다른 유사하지만 구별되는 작업으로 대체했을 때에도 모델이 동일한 행동을 출력하는 현상을 발견했습니다. 이러한 현상은 훈련 시간 동안 작업 관련 토큰으로부터 주의 집중이 벗어나 로컬 관찰에 더 집중하게 되는 일관적인 경향과 함께 나타나며, 이는 최적화 과정에서 단편적인 해결책에 치우치는 편향을 시사합니다. 이 문제를 완화하기 위해, 본 연구에서는 작업-교란(Task-Perturbed) NLL 최적화를 제안합니다. 이는 가벼운 대비 학습 기반의 정규화 방법으로, 행동이 작업 지시에 의존하도록 명시적으로 장려합니다. 광범위한 실험 결과는 우리의 방법론이 작업 감응성을 향상시키고 OOD 일반화 성능을 개선하며, 동시에 작업 관련 토큰에 대한 안정적인 주의 집중을 유지한다는 것을 보여줍니다.

Large language models can serve as capable long-horizon agents, but their out-of-distribution (OOD) generalization remains weak. We identify a key source of this failure as task insensitivity: when faced with similar but distinct tasks, models might apply patterns learned during training and fail to solve the task at hand. We show that models often continue with actions aligned with the original task even when the instruction is semantically corrupted and cannot be directly answered. We further find that, when we replace the task description in a trained prompt with another similar but distinct task, the model may still output the same action. This behavior is accompanied by a consistent training-time attention drift away from task tokens and toward local observations, suggesting an optimization bias toward shortcuts. To mitigate this problem, we propose Task-Perturbed NLL Optimization, a lightweight contrastive regularizer that explicitly encourages action dependence on the task instruction. Extensive evaluations show that our intervention improves task sensitivity and OOD generalization while preserving more stable attention to task tokens.