에이전트 기반 데이터 분석을 위한 비지도 기술 발견

Unsupervised Skill Discovery for Agentic Data Analysis

추론 시점의 기술 증강은 모델 파라미터를 업데이트하지 않고 재사용 가능한 절차적 지식을 주입하여 데이터 분석 에이전트를 개선하는 경량화된 방법입니다. 그러나 데이터 분석에 효과적인 기술을 발견하는 것은 여전히 어려운 과제이며, 신뢰할 수 있는 지도 학습은 비용이 많이 들고 성공 기준은 다양한 분석 형식에 따라 달라집니다. 이는 비지도 탐색만으로 재사용 가능한 데이터 분석 기술을 어떻게 발견할 수 있는지에 대한 중요한 질문을 제기합니다. 본 연구에서는 데이터 분석 에이전트를 위한 비지도 검증자 기반 기술 발견 프레임워크인 DataCOPE를 제안합니다. DataCOPE는 탐색 경로에서 검증 신호를 파생하고 이를 사용하여 경로 간의 상대적인 품질 또는 일치성을 특성화합니다. DataCOPE는 경로 생성에 사용되는 데이터 분석 에이전트, 신호 추출에 사용되는 비지도 검증자 및 대조 학습을 위한 기술 관리자를 반복적으로 조정합니다. 보고서 형식의 분석에서는 검증자를 적응형 체크리스트 검증자로 구현하여 작업별 기준을 파생하고 검증 가능한 범위를 기준으로 보고서를 평가하며 체크리스트를 반복적으로 개선합니다. 추론 형식의 분석에서는 검증자를 답변 일치 검증자로 구현하여 경로를 답변 일치에 따라 그룹화하고 자기 일관성을 보조 신호로 사용합니다. Deep Data Research에서 제공하는 보고서 형식의 분석과 DABStep에서 제공하는 추론 형식의 분석을 통해 DataCOPE를 평가했습니다. 두 가지 환경 모두에서 DataCOPE는 기준 모델보다 지속적으로 더 나은 성능을 보였습니다. 네 가지 모델 설정에 대한 평균 성능으로 볼 때, DataCOPE는 보고서 형식 작업에서 평균 점수를 9.71% 향상시키고 추론 형식 작업에서 32.30% 향상시켰습니다.

Inference-time skill augmentation provides a lightweight way to improve data-analytic agents by injecting reusable procedural knowledge without updating model parameters. However, discovering effective skills for data analysis remains challenging, as reliable supervision is expensive and success criteria vary across analytical formats. This raises the key question of how to discover reusable data-analysis skills from unlabeled exploration alone. We propose DataCOPE, an unsupervised verifier-guided skill discovery framework for data-analytic agents. DataCOPE derives verifier signals from the exploration trajectories and uses them to characterize relative quality or aggreement among trajectories. It iteratively coordinates a Data-Analytic Agent for trajectory generation, an Unsupervised Verifier for signal extraction, and a Skill Manager for contrastive skill distillation. For report-style analysis, we instantiate the verifier as an Adaptive Checklist Verifier that derives task-specific criteria, scores reports by verifiable coverage, and iteratively refines the checklist. For reasoning-style analysis, we instantiate it as an Answer Agreement Verifier that groups trajectories by answer agreement and uses self-consistency as an auxiliary signal. We evaluate DataCOPE on report-style analysis from Deep Data Research and reasoning-style analysis from DABStep. Across both settings, DataCOPE consistently improves held-out performance over baselines. Averaged across four model settings, DataCOPE improves the mean score by 9.71% and 32.30% on report-style and reasoning-style tasks respectively.