모델이 말하는 것 이상으로 아는 경우: LLM의 유추 추론 탐구

When Models Know More Than They Say: Probing Analogical Reasoning in LLMs

유추 추론은 서사 이해에 필수적인 핵심 인지 능력입니다. LLM은 표면적 특징과 구조적 요소가 일치하는 경우에 잘 작동하지만, 표면적으로는 명확하지 않지만 잠재적인 정보가 필요한 경우에 어려움을 겪는데, 이는 추상화 및 일반화 능력의 한계를 시사합니다. 본 논문에서는 모델의 내부 표현을 탐색하여 모델이 서사적 유추를 감지하는 능력을 평가하고, 두 가지의 비대칭성을 밝힙니다. 수사적 유추의 경우, 탐색 방법이 공개 소스 모델에서 프롬프트 기반 방법보다 훨씬 우수한 성능을 보이는 반면, 서사적 유추의 경우 두 방법이 유사한(낮은) 성능을 보입니다. 이는 내부 표현과 프롬프트 기반 행동 간의 관계가 작업에 따라 다르며, 프롬프트가 사용 가능한 정보를 얼마나 효과적으로 활용하는지에 대한 한계를 반영할 수 있음을 시사합니다.

Analogical reasoning is a core cognitive faculty essential for narrative understanding. While LLMs perform well when surface and structural cues align, they struggle in cases where an analogy is not apparent on the surface but requires latent information, suggesting limitations in abstraction and generalisation. In this paper we compare a model's probed representations with its prompted performance at detecting narrative analogies, revealing an asymmetry: for rhetorical analogies, probing significantly outperforms prompting in open-source models, while for narrative analogies, they achieve a similar (low) performance. This suggests that the relationship between internal representations and prompted behavior is task-dependent and may reflect limitations in how prompting accesses available information.