한 번 정리하면 언제든지 활용: 신뢰 계층 기반 지식 저장소와 다중 에이전트 작성 시스템을 이용한 시간 일관성을 갖는 연구

Reconcile Once, Write Anytime: A Trust-Tiered Librarian and a Multi-Agent Writer for Drift-Free, Point-in-Time Research

대규모 언어 모델(LLM)로 생성된 장문의 연구 보고서는 오류를 포함하고, 모순되는 내용을 담으며, 출처 정보가 손실되는 경향이 있습니다. 동일한 지표가 서로 다른 값으로 나타나거나, 검증되지 않은 정보가 신뢰성 있는 자료처럼 인용되는 경우가 발생합니다. 본 논문에서는 유지 관리되는 시간 기준 지식 저장소와 보고서 작성 기능을 분리하는 이중 계층 에이전트 시스템을 제안합니다. '라이브러리언'은 타임스탬프가 포함된 소스를 수집하여 신뢰 계층 온톨로지에 통합하고, 증거 카드, 권위 있는 지표 기록, 그리고 주장 그래프를 구축함으로써 항상 최신의 정확한 정보 소스를 제공합니다 (각 쿼리에 대한 원시 데이터 기반 검색이 아님). 휴대 가능한 다중 에이전트 '작성' 시스템은 특정 시점(T)까지의 증거 데이터만을 사용하여 모순 없는, 근거가 명확하게 제시된 보고서를 작성하며, 미래 정보를 참조하지 않습니다. 레드팀 검토 결과는 라이브러리언에게 피드백되어 개선에 활용됩니다. 6,130개의 소스 (미국 증권거래위원회 EDGAR 제출 자료, 미국 노동통계국 발표 자료, 위키피디아)로 구성된 자체 수집 데이터셋을 사용하여 실험을 진행했으며, 555,926개의 증거 카드를 생성했습니다. 하나의 저장소를 이용하여 네 개의 시점별 보고서를 작성하고, 8가지 재현 가능한 실험을 수행했습니다. 주요 지표는 결정론적인 품질 관리 단계를 통해 도출되며, 이는 리콜 1.0 및 정밀도 1.0에서 결함 주입 메타 평가를 통해 검증되었습니다. 공유된 지표 기록은 6,845개의 상호 모순되는 정보를 제거하여 0으로 만들었습니다. 신뢰 계층 기반 선택 방식은 22건의 테스트 케이스 모두에서 정확한 결과를 보인 반면, 인기도 우선 방식에서는 9/22 건만 올바르게 분류되었습니다. 신뢰 계층 방식은 미디어 출처로부터 제공되는 수치를 전혀 유출하지 않으며, 정부 통계 자료가 기업 자체 보고서보다 우선시되지 않습니다. 레드팀 검토 결과는 이후 실행에서 자동으로 수정되어, 사람이 개입한 편집 없이 개선됩니다. 실험 결과, 7개의 시점에서 미래 정보를 참조하는 경우는 단 한 번도 발생하지 않았으며, 저장소 내 증거 카드 수는 235,373개에서 555,312개로 증가했습니다. 난이도 계층 기반 모델 라우팅은 기존 Opus 모델의 품질 상한선을 초과하면서, 병렬 처리 방식으로 인해 3.7배 더 빠른 속도로 실행되었습니다.

Long-form research reports generated by large language models drift, contradict themselves, and lose provenance: the same metric appears with different values, and rumor is quoted as confidently as an audited filing. We present a two-tier agentic system that separates a maintained, point-in-time knowledge library from report writing. A deterministic "librarian" ingests timestamped sources into a trust-tiered ontology, layering evidence cards, an authoritative metric ledger, and a claim graph into an always-current source of truth, not per-query RAG over raw chunks. A portable multi-agent "writer" runtime then composes a contradiction-free, evidence-grounded report at any knowledge cutoff T, reading only evidence with as_of <= T (no look-ahead); red-team verdicts flow back into the librarian. We evaluate on a self-collected, public corpus of 6,130 sources yielding 555,926 evidence cards (SEC EDGAR filings across 295 issuers and 11 sectors, U.S. Bureau of Labor Statistics releases, and Wikipedia). From the one library we compose four point-in-time reports on distinct theses and run eight reproducible experiments, whose headline metrics come from a deterministic quality-control gate, itself validated by defect-injection meta-evaluation at recall 1.0 and precision 1.0. A shared metric ledger removes 6,845 cross-section contradictions to zero. Tier-first selection is correct on 22/22 gold cases where a popularity-first baseline scores only 9/22; trust tiering leaks zero media-sourced numbers, and no government statistic displaces a company's own filing. A red-team refutation propagates back and self-corrects a later run with zero manual edits. Replay exhibits zero look-ahead violations across seven cutoffs while the library grows from 235,373 to 555,312 cards. Difficulty-tiered model routing exceeds the all-Opus quality ceiling while running 3.7x faster than serial.