신뢰성 있는 보고서 생성으로 향한 연구: 점진적인 신뢰도 추정 및 보정 기능을 갖춘 딥 러닝 기반 연구 에이전트

Towards Trustworthy Report Generation: A Deep Research Agent with Progressive Confidence Estimation and Calibration

에이전트 기반 시스템이 계속 발전함에 따라, 딥 러닝 기반 연구 에이전트는 다양한 분야에서 연구 보고서 형태의 콘텐츠를 자동으로 생성할 수 있게 되었습니다. 이러한 에이전트는 정보 종합 및 지식 탐색을 효율적으로 만들어 줄 수 있는 잠재력을 가지고 있지만, 기존의 평가 프레임워크는 주관적인 측면에 주로 의존하며, 보고서 품질의 중요한 측면인 '신뢰성'을 제대로 반영하지 못합니다. 정답이 없는 개방형 연구 시나리오에서, 현재의 평가 방법은 생성된 콘텐츠의 인지적 신뢰도를 효과적으로 측정할 수 없기 때문에, 보정이 어렵고 사용자가 오해를 받거나 환각된 정보를 접할 위험이 있습니다. 이러한 한계를 해결하기 위해, 저희는 보고서 생성 파이프라인 내에 점진적인 신뢰도 추정 및 보정 기능을 통합한 새로운 딥 러닝 기반 연구 에이전트를 제안합니다. 저희 시스템은 검증 가능한 근거를 바탕으로 출력을 생성하고, 각 주장에 대한 신뢰도 점수를 할당하는 심층 검색 모델을 활용합니다. 신중하게 설계된 워크플로우와 결합하여, 이 접근 방식은 투명성이 향상된 신뢰성 있는 보고서를 생성합니다. 실험 결과와 사례 연구는 저희 방법이 해석 가능성을 크게 향상시키고 사용자 신뢰도를 현저히 높인다는 것을 보여줍니다.

As agent-based systems continue to evolve, deep research agents are capable of automatically generating research-style reports across diverse domains. While these agents promise to streamline information synthesis and knowledge exploration, existing evaluation frameworks-typically based on subjective dimensions-fail to capture a critical aspect of report quality: trustworthiness. In open-ended research scenarios where ground-truth answers are unavailable, current evaluation methods cannot effectively measure the epistemic confidence of generated content, making calibration difficult and leaving users susceptible to misleading or hallucinated information. To address this limitation, we propose a novel deep research agent that incorporates progressive confidence estimation and calibration within the report generation pipeline. Our system leverages a deliberative search model, featuring deep retrieval and multi-hop reasoning to ground outputs in verifiable evidence while assigning confidence scores to individual claims. Combined with a carefully designed workflow, this approach produces trustworthy reports with enhanced transparency. Experimental results and case studies demonstrate that our method substantially improves interpretability and significantly increases user trust.