PEARL: 감사 가능한 과학적 추론 그래프 추출을 위한 기술

PEARL: Auditable Repair for Scientific Reasoning Graph Extraction

과학적 추론 그래프 추출 (SRGE)은 관찰, 증거, 중간 결론 및 논문 수준의 결론 간의 명시적인 연결 고리를 복원하는 것을 목표로 합니다. LLM(대규모 언어 모델)은 그래프 형태의 과학적 설명을 생성할 수 있지만, 그 출력은 종종 잘못된 구문, 일관성 없는 엣지 레이블, 잘못된 방향의 루트 노드 및 취약한 소스 연결을 포함합니다. 본 논문에서는 PEARL (추상화 및 수정 계층을 통한 피어스 추출)이라는 학습이 필요 없는 프레임워크를 제안합니다. 이 프레임워크는 LLM에서 생성된 노이즈가 많은 그래프 응답을 감사 가능한 추론 그래프로 변환하고, 엄격한 의미적 타당성을 갖도록 수정합니다. PEARL은 먼저 폐쇄형 피어스 체계를 사용하여 명시적인 그래프 내용을 구체화한 다음, 일치하는 증거 기반의 평가자 피드백을 활용하여 거부된 엣지 유형, 로컬 추론 단계 및 터미널 루트를 수정하면서 감사 로그를 유지합니다. ARCHE 데이터셋에서 추출된 70개의 논문 모델 아카이브에 대해 PEARL은 LLM 기준 모델의 엄격한 통과율을 350건 중 0건에서 300건으로 향상시켰으며, 평균 REA(Reasoning Extraction Accuracy)는 0.339에서 0.906으로 개선되었습니다. 이러한 그래프는 연구 에이전트 및 AI 과학자 워크플로우에 대한 신뢰성 계층을 제공하며, 검사 가능한 추론 기록을 필요로 하지만 제약 없는 그래프 재생성이 불필요한 경우에 유용합니다. 코드 및 감사 관련 자료는 다음 주소에서 확인할 수 있습니다: https://github.com/BohanSu/auditable-repair-reasoning-graphs/tree/300-350_workshop

Scientific Reasoning Graph Extraction (SRGE) aims to recover explicit links among observations, evidence, intermediate claims, and paper-level conclusions. LLMs can produce graph-like scientific explanations, but their outputs often mix malformed syntax, drifting edge labels, incorrectly oriented roots, and weak source anchors. We propose PEARL (Peircean Extraction via Abstraction and Repair Layer), a training-free framework that turns noisy LLM graph responses into auditable reasoning graphs and repairs them toward strict semantic validity. PEARL first materializes explicit graph content under a closed Peircean schema, then uses matched evidence-grounded judge feedback to repair rejected edge types, local inference steps, and terminal roots while preserving an audit trail. On five 70-paper model archives from ARCHE, a benchmark for latent reasoning-chain extraction, PEARL raises strict gate passes from 0/350 for the LLM baseline to 300/350, with average REA improving from 0.339 to 0.906. The graphs provide a reliability layer for research-agent and AI scientist workflows that need inspectable reasoning traces rather than unconstrained graph regeneration. Code and audit artifacts are available at https://github.com/BohanSu/auditable-repair-reasoning-graphs/tree/300-350_workshop .