재료 과학 가설 생성에서 그래프 기반 질의응답 메커니즘 회복 시각화

Visualizing Graph-to-Answer Mechanism Recovery in Materials-Science Hypothesis Generation

AI 공동 연구원은 유창한 재료 과학 가설을 생성할 수 있지만, 유창성이 과학적으로 의미 있는 메커니즘을 보존하는 것을 나타내지는 않습니다. 본 연구에서는 Graph-PRefLexOR-8B 모델의 질의응답 메커니즘 추적 사례 연구를 제시합니다. Graph-PRefLexOR-8B은 Qwen3-8B 모델을 기반으로 하며, 브레인스토밍, 그래프 생성, 패턴 추출 및 종합 단계와 같은 별도의 단계를 노출하도록 설계되었습니다. 본 연구에서는 의미론적 역추적, 그래프 손상, 활성화 기반 회복 측정, 그리고 토큰 영역별 레이어 그리드를 시각적 진단 워크플로우로 구성하여 이 경로를 검사합니다. 100개의 개방형 재료 과학 질문에 대한 최종 답변은 모델 자체의 구조화된 단계, 특히 종합 단계와 가장 유사한 경향을 보입니다. 그래프 손상 및 37개의 잔류 스트림 체크포인트, 임베딩 출력 및 36개의 트랜스포머 블록 전반에 걸쳐 분석한 결과, 초기 전환 영역인 7~10층에서는 메커니즘 회복이 거의 나타나지 않으며, 대신 종합 단계와 답변 시작 영역인 약 30층과 36층에서 주로 회복되는 것을 확인했습니다. 본 워크플로우는 과학자와 모델 개발자가 생성된 가설이 하위 시스템으로 전달되기 전에 메커니즘 지원을 상실하거나 다시 얻는 지점을 식별하는 데 도움을 줄 수 있습니다.

AI co-scientists can generate fluent materials-science hypotheses, but fluency does not show that an answer preserves a scientifically meaningful mechanism. We present a graph-to-answer mechanism-tracing case study for Graph-PRefLexOR-8B, a Qwen3-8B model adapted to expose distinct stages for brainstorming, graph construction, pattern extraction, and synthesis. We organize semantic backtracking, graph corruption, activation-based recovery measurements, and layer-by-token-region grids into a visual diagnostic workflow for inspecting this pathway. Across 100 open-ended materials-science questions, final answers remain closest to the model's own structured stages, especially synthesis. Under graph corruption, a full sweep over 37 residual-stream checkpoints, the embedding output and 36 transformer blocks, shows little mechanism recovery in the earlier transition region at layers 7--10, recovery instead concentrates in late synthesis and answer-start regions around layers 30 and 36. The workflow is intended to help scientists and model developers identify where a generated hypothesis loses or regains mechanism support before it is passed to downstream experimental planning.