정보 탐색 에이전트 통합 탐구

Exploring Information Seeking Agent Consolidation

정보 탐색 에이전트는 지식 집약적 작업을 해결하기 위한 강력한 패러다임으로 부상했습니다. 기존의 정보 탐색 에이전트는 일반적으로 오픈 웹, 문서 또는 로컬 지식 베이스에 특화되어 있어 확장성과 도메인 간 일반화에 제약이 있습니다. 본 연구에서는 이질적인 정보 탐색 에이전트들을 하나의 파운데이션 에이전트 모델로 통합하는 방법을 조사합니다. 우리는 두 가지 상호 보완적인 통합 전략을 연구합니다. 하나는 도메인별 데이터셋을 혼합하여 통합 모델을 공동 학습시키는 데이터 수준 통합이며, 다른 하나는 독립적으로 학습된 에이전트 모델들을 파라미터 수준에서 병합하는 파라미터 수준 통합입니다. 우리의 분석은 성능 유지, 도메인 간 일반화, 정보 탐색 행동 간의 간섭 측면에서 이러한 접근 방식들을 비교합니다. 연구 결과, 데이터 수준 통합은 강력하고 안정적인 기준선(baseline)을 유지하는 반면, 파라미터 수준 통합은 유망하고 효율적인 대안을 제공하지만 간섭 및 견고성 문제를 겪는 것으로 나타났습니다. 더 나아가, 우리는 세밀한 병합 입도, 작업 이질성 인식, 원칙에 입각한 합의 전략 등 파라미터 수준에서의 효과적인 에이전트 통합을 위한 핵심 설계 요소들을 식별합니다.

Information-seeking agents have emerged as a powerful paradigm for solving knowledge-intensive tasks. Existing information-seeking agents are typically specialized for open web, documents, or local knowledge bases, which constrains scalability and cross-domain generalization. In this work, we investigate how to consolidate heterogeneous information-seeking agents into a single foundation agentic model. We study two complementary consolidation strategies: data-level consolidation, which jointly trains a unified model on a mixture of domain-specific datasets, and parameter-level consolidation, which merges independently trained agent models at the parameter level. Our analysis compares these approaches in terms of performance retention, cross-domain generalization, and interference across information-seeking behaviors. Our results show that data-level consolidation remains a strong and stable baseline, while parameter-level consolidation offers a promising, efficient alternative but suffers from interference and robustness challenges. We further identify key design factors for effective agent consolidation at the parameter level, including fine-grained merging granularity, awareness of task heterogeneity, and principled consensus strategy.