사슬을 끊어라: LLM이 생성하는 중간 구조에 대한 인과적 분석

Breaking the Chain: A Causal Analysis of LLM Faithfulness to Intermediate Structures

스키마 기반 추론 파이프라인에서는 LLM이 최종 결정을 내리기 전에 명시적인 중간 구조(가이드라인, 체크리스트, 검증 질문 등)를 생성하도록 요청합니다. 하지만 이러한 구조들이 결과에 인과적으로 영향을 미치는 것인지, 아니면 단순히 동반되는 것인지에 대한 질문이 있습니다. 본 연구에서는 이러한 관계를 직접적으로 측정할 수 있는 인과적 평가 프로토콜을 도입합니다. 중간 구조가 결정적인 함수에 의해 결과로 연결되는 작업을 선택함으로써, 모든 제어된 수정은 고유한 올바른 결과를 초래합니다. 8개의 모델과 3개의 벤치마크를 대상으로 실험한 결과, 모델들은 자체적으로 생성한 중간 구조와 일관성을 보이는 것처럼 보이지만, 중간 구조에 개입한 후에도 예측을 업데이트하지 못하는 경우가 최대 60%에 달했습니다. 이는 겉으로 보이는 충성도가 중간 구조가 변경되면 쉽게 깨질 수 있음을 보여줍니다. 최종 결정을 중간 구조로부터 유도하는 작업을 외부 도구에 위임하면 이러한 취약성이 대부분 사라지지만, 원래 입력보다 중간 구조를 우선시하도록 하는 프롬프트는 이러한 격차를 실질적으로 좁히지 못합니다. 종합적으로, 스키마 기반 파이프라인에서 중간 구조는 안정적인 인과적 매개 변수라기보다는 영향력 있는 맥락으로 기능합니다.

Schema-guided reasoning pipelines ask LLMs to produce explicit intermediate structures -- rubrics, checklists, verification queries -- before committing to a final decision. But do these structures causally determine the output, or merely accompany it? We introduce a causal evaluation protocol that makes this directly measurable: by selecting tasks where a deterministic function maps intermediate structures to decisions, every controlled edit implies a unique correct output. Across eight models and three benchmarks, models appear self-consistent with their own intermediate structures but fail to update predictions after intervention in up to 60% of cases -- revealing that apparent faithfulness is fragile once the intermediate structure changes. When derivation of the final decision from the structure is delegated to an external tool, this fragility largely disappears; however, prompts which ask to prioritize the intermediate structure over the original input do not materially close the gap. Overall, intermediate structures in schema-guided pipelines function as influential context rather than stable causal mediators.