인간과 거대 언어 모델의 암묵적 정보 해석 비교

Comparing Human and Large Language Model Interpretation of Implicit Information

암묵적 의미의 해석은 인간 의사소통의 필수적인 부분입니다. 그러나 이러한 해석 방식이 거대 언어 모델(LLM)과의 상호작용에 그대로 적용될 수 있을지는 미지수입니다. 이를 조사하기 위해, 본 연구에서는 암묵적 정보 추출(IIE)이라는 새로운 과제를 제시하고, 관계 삼항형을 추출하여 문맥 속 단어 간의 관계를 구축하고, 암묵적 추론을 검증하며, 시간적 관계를 분석하는 LLM 기반 IIE 파이프라인을 제안합니다. 두 개의 LLM 모델을 대상으로, 크라우드소싱을 통해 얻은 인간 판단 데이터셋 두 개를 사용하여 성능을 평가했습니다. 그 결과, 인간은 대부분의 모델이 제시하는 삼항형에 동의하지만, 지속적으로 많은 추가적인 정보를 제안하며, 이는 현재 LLM 기반 IIE의 제한적인 범위와 관련이 있음을 시사합니다. 또한, 실험 결과, LLM 모델은 사회적으로 복잡한 문맥에서 인간보다 암묵적 추론에 대해 더 보수적인 경향을 보이는 반면, 인간은 짧고 사실 중심적인 문맥에서 더 보수적인 경향을 보였습니다. 본 연구의 코드는 https://github.com/Antonio-Dee/IIE_from_LLM 에서 확인할 수 있습니다.

The interpretation of implicit meanings is an integral aspect of human communication. However, this framework may not transfer to interactions with Large Language Models (LLMs). To investigate this, we introduce the task of Implicit Information Extraction (IIE) and propose an LLM-based IIE pipeline that builds a structured knowledge graph from a context sentence by extracting relational triplets, validating implicit inferences, and analyzing temporal relations. We evaluate two LLMs against crowdsourced human judgments on two datasets. We find that humans agree with most model triplets yet consistently propose many additions, indicating limited coverage in current LLM-based IIE. Moreover, in our experiments, models appear to be more conservative about implicit inferences than humans in socially rich contexts, whereas humans become more conservative in shorter, fact-oriented contexts. Our code is available at https://github.com/Antonio-Dee/IIE_from_LLM.