에이전트 기반 시스템을 활용한 메타 분석 통합을 위한 실행 가능한 분석 지식 표현 구축

Constructing Executable Analytical Knowledge Representations for Meta-Analysis Synthesis Using an Agentic Harness

메타 분석은 지식 기반 과학적 분석에서 근본적인 과제를 드러냅니다. 구조화된 데이터는 그 자체로는 실행 가능한 계산에 필요한 분석 지식을 나타내지 못합니다. 증거 할당, 분석 비교, 결과 및 시간점 정렬, 효과 크기 결정, 방법론적 타당성과 같은 의사 결정은 통계 실행 전에 명시적으로 정의되어야 합니다. 기존의 자동화된 접근 방식은 종종 이러한 의사 결정을 모델 출력, 생성된 코드 또는 워크플로우 추적 내에 포함시키는 반면, 독립적으로 검증 가능한 지식으로 표현하지 않습니다. 본 연구에서는 메타 분석을 위한 구조화된 데이터를 실행 가능한 형태로 변환하는 데 필요한 지식을 기계가 이해할 수 있는 형태로 표현하는 '실행 가능한 분석 지식 표현(EAKR)'을 소개합니다. EAKR은 증거, 관계, 숫자 입력, 제약 조건, 출처 정보 및 해결되지 않은 문제들을 포함합니다. 우리는 EAKR을 MetaSynDec라는 에이전트 기반 시스템에 구현했습니다. 이 시스템에서 대규모 언어 모델(LLM)은 구조화된 업데이트를 제안하고, 결정론적 서비스는 스키마 및 계약 기반의 검증과 실행을 담당합니다. 58개의 분석 단위에 대해 MetaSynDec은 모든 EAKR을 생성했으며, 그 중 57개가 통계 실행 단계로 진행되었습니다. 충분한 정보를 가진 56개 분석 단위 중에서 38개(67.9%)가 완전한 객체 일관성을 달성했고, 42개(75.0%)가 정확한 증거 집합 일치도를 보였습니다. 평균 자카드 유사성은 0.909로 나타났습니다. 생성되고 게시된 신뢰 구간은 55개 분석 단위 중 54개(98.2%)에서 일치했습니다. MetaSynDec은 참조 메타 분석 구조의 일관성(57/58 vs 23/58; p<0.001) 및 공동 완료된 23개의 분석 단위에서 정확한 참조 공식 일관성(23/23 vs 1/23; p<0.001) 측면에서 직접 LLM 생성이 제공하는 결과보다 우수한 성능을 보였습니다. 이러한 결과는 EAKR이 형식적인 검증, 추적 가능성, 통계 실행 및 직접 LLM 생성 방식에 비해 향상된 방법론적 일관성을 지원한다는 것을 보여주는 중요한 증거를 제공합니다.

Meta-analysis synthesis highlights a fundamental challenge in knowledge-based scientific analysis: structured evidence does not by itself represent the analytical knowledge required for executable computation. Decisions about evidence assignment, analytical contrasts, outcome and time-point alignment, effect-size formulation, and methodological admissibility must be explicit before statistical execution. Existing automated approaches often embed these decisions in model outputs, generated code, or workflow traces rather than representing them as independently verifiable knowledge. We introduce the Executable Analytical Knowledge Representation (EAKR), a machine-actionable representation of the knowledge required to transform structured evidence into executable meta-analysis. An EAKR represents evidence, relations, numerical inputs, constraints, provenance, and unresolved issues. We operationalise EAKR in MetaSynDec, an agentic harness in which large language models propose structured updates and deterministic services govern schema- and contract-based validation and execution. Across 58 synthesis units, MetaSynDec constructed all EAKRs, with 57 proceeding to statistical execution. Of 56 units with sufficient information to define a reference analysis object, 38 (67.9%) achieved complete object fidelity and 42 (75.0%) exact evidence-set agreement, with a mean Jaccard similarity of 0.909. Generated and published confidence intervals overlapped in 54 of 55 units (98.2%). MetaSynDec outperformed direct LLM generation in reference synthesis-structure agreement (57/58 versus 23/58; p<0.001) and among 23 jointly completed units, exact reference-formulation agreement (23/23 versus 1/23; p<0.001). These findings provide feasibility evidence that EAKR supports formal validation, traceability, statistical execution, and improved methodological agreement relative to direct LLM generation.