생명 의학과 다중 분야 맥락에서 LLM의 쌍별 인과 관계 발견 성능 비교 연구

Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

생명 의학 분야와 같이 중요한 영역에서 대규모 언어 모델(LLM)을 안전하게 활용하기 위해서는 원인과 결과에 대한 추론 능력이 필수적입니다. 본 연구에서는 13개의 오픈 소스 LLM을 대상으로, 텍스트로부터 쌍별 인과 관계를 발견하는 기본적인 과제를 수행하여 이러한 능력을 평가했습니다. 12개의 다양한 데이터 세트를 활용한 벤치마크를 통해, 다음 두 가지 핵심 능력을 평가했습니다. 1) **인과 관계 감지 (Causal Detection):** 텍스트에 인과 관계가 포함되어 있는지 여부를 식별하는 능력, 그리고 2) **인과 관계 추출 (Causal Extraction):** 정확한 원인과 결과 구문을 추출하는 능력입니다. 간단한 지시사항(제로샷)부터 체인 오브 소트(Chain-of-Thought, CoT) 및 퓨샷 인-컨텍스트 학습(Few-shot In-Context Learning, FICL)과 같은 복잡한 전략까지 다양한 프롬프트 방법을 사용했습니다. 연구 결과, 현재 모델들은 상당한 한계를 드러냈습니다. 인과 관계 감지 성능이 가장 우수한 모델은 DeepSeek-R1-Distill-Llama-70B였지만, 평균 정확도는 49.57%($C_{detect}$)에 불과했습니다. 인과 관계 추출 성능이 가장 우수한 모델은 Qwen2.5-Coder-32B-Instruct였지만, 정확도는 47.12%($C_{extract}$)에 그쳤습니다. 모델들은 간단하고 명확하며 단일 문장으로 표현된 관계에서는 비교적 좋은 성능을 보였지만, 암묵적인 관계, 여러 문장에 걸쳐 존재하는 관계, 그리고 여러 개의 인과 관계 쌍을 포함하는 텍스트와 같은 더 복잡한 경우에서는 성능이 현저히 저하되었습니다. 본 연구에서는 높은 평가자 간 일치도를 보이는 데이터 세트를 기반으로 구축된 통합 평가 프레임워크를 제공하며, 모든 데이터, 코드, 그리고 프롬프트를 공개하여 추가 연구를 촉진하고자 합니다. (코드: https://github.com/sydneyanuyah/CausalDiscovery)

The safe deployment of large language models (LLMs) in high-stakes fields like biomedicine, requires them to be able to reason about cause and effect. We investigate this ability by testing 13 open-source LLMs on a fundamental task: pairwise causal discovery (PCD) from text. Our benchmark, using 12 diverse datasets, evaluates two core skills: 1) \textbf{Causal Detection} (identifying if a text contains a causal link) and 2) \textbf{Causal Extraction} (pulling out the exact cause and effect phrases). We tested various prompting methods, from simple instructions (zero-shot) to more complex strategies like Chain-of-Thought (CoT) and Few-shot In-Context Learning (FICL). The results show major deficiencies in current models. The best model for detection, DeepSeek-R1-Distill-Llama-70B, only achieved a mean score of 49.57\% ($C_{detect}$), while the best for extraction, Qwen2.5-Coder-32B-Instruct, reached just 47.12\% ($C_{extract}$). Models performed best on simple, explicit, single-sentence relations. However, performance plummeted for more difficult (and realistic) cases, such as implicit relationships, links spanning multiple sentences, and texts containing multiple causal pairs. We provide a unified evaluation framework, built on a dataset validated with high inter-annotator agreement ($κ\ge 0.758$), and make all our data, code, and prompts publicly available to spur further research. \href{https://github.com/sydneyanuyah/CausalDiscovery}{Code available here: https://github.com/sydneyanuyah/CausalDiscovery}