위험을 감수하세요: LLM은 인지적 비대칭 상황에서 실용적인 협력에 어려움을 겪습니다.

Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry

성공적인 협업은 문맥 단서를 포함한 협력적인 의사소통에 달려 있습니다. 협업 및 에이전트 시스템에서 LLM의 사용이 증가함에 따라, 특히 다른 참여자와 동일한 정보에 접근할 수 없는 시나리오에서 이러한 실용적인 능력을 얼마나 갖추고 있는지에 대한 질문이 제기됩니다. 본 논문에서는 부분 정보 조건 하에서 다자간 협업 작업 환경에서 LLM의 실용적 추론 능력에 대한 새로운 연구를 수행합니다. 우리는 객관적인 작업 성공과 그라이스의 협력 원칙 간의 명확한 연관성을 갖는 협력적 인지적 비대칭이라는 개념을 공식화하고, 프롬프팅 및 추가 훈련 전략을 포함하여 다양한 LLM이 화자와 청취자로서 얼마나 협력적으로 행동할 수 있는지 경험적으로 평가합니다. 우리의 결과는 LLM이 협업 환경에서 특정 실용적인 능력을 보이지만, 이는 프롬프팅과 추가 훈련을 통해 유도될 수 있지만, 불완전한 정보로 인한 실용적 의사소통에는 여전히 어려움이 있으며, 특정 실패 사례가 그라이스의 격률 위반과 관련되어 있지만 제대로 인식되지 못한다는 것을 보여줍니다.

Fruitful collaborations rely on cooperative communications, including of contextual cues to incorporate into reasoning. The increasing use of LLMs in collaborative and agentic pipelines raises questions about the extent to which they exhibit these pragmatic capabilities, especially in scenarios where they may not have access to the same information as their collaborators. In this paper, we perform a novel investigation into the pragmatic reasoning capabilities of LLMs in a multi-party collaborative task under partial information conditions. We formalize a notion of collaborative epistemic asymmetry that explicitly connects objective task success to Grice's cooperative principle and empirically assess various LLMs' abilities to act cooperatively as both speakers and listeners, including both prompting and post-training strategies. Our results show that while LLMs exhibit certain pragmatic capabilities in collaborative settings, and these can be elicited through prompting and post-training, they still face challenges in pragmatic communication with incomplete information, and that certain failure modes do correlate with floutings of Grice's maxims that go unrecognized.