LLM-AutoDP: LLM 에이전트를 활용한 자동 데이터 처리: 모델 미세 조정을 위한 방법

LLM-AutoDP: Automatic Data Processing via LLM Agents for Model Fine-tuning

대규모 언어 모델(LLM)은 특정 분야의 데이터를 활용하여 미세 조정함으로써 해당 분야에서의 성능을 향상시킬 수 있습니다. 그러나 이러한 데이터는 종종 품질이 낮은 샘플을 다수 포함하고 있으며, 효과적인 데이터 처리(DP)가 필요합니다. 일반적으로 DP 전략은 반복적인 수동 분석과 시행착오를 통해 개발되는데, 이러한 과정은 상당한 인적 비용을 발생시키고, 의료 분야와 같이 개인 정보 보호가 중요한 영역에서는 민감한 데이터에 대한 직접적인 접근으로 인해 개인 정보 문제를 야기할 수 있습니다. 따라서 원본 데이터를 노출하지 않고 자동화된 데이터 처리를 달성하는 것은 중요한 과제입니다. 이러한 과제를 해결하기 위해, 우리는 LLM 에이전트를 활용하여 데이터 처리 전략을 자동으로 생성하고 최적화하는 새로운 프레임워크인 LLM-AutoDP를 제안합니다. 우리의 방법은 여러 후보 전략을 생성하고, 피드백 신호와 비교 평가를 통해 반복적으로 이를 개선합니다. 이러한 반복적인 인컨텍스트 학습 메커니즘은 에이전트가 직접적인 인간의 개입이나 기본 데이터에 대한 접근 없이 고품질 처리 파이프라인으로 수렴하도록 합니다. 전략 탐색 속도를 더욱 가속화하기 위해, 우리는 세 가지 핵심 기술을 도입했습니다. 첫째, 분포를 유지하면서 데이터 양을 줄이는 분포 보존 샘플링(Distribution Preserving Sampling)입니다. 둘째, 이진 분류기를 사용하여 품질이 낮은 샘플을 식별하고 집중적인 처리를 수행하는 처리 대상 선택(Processing Target Selection)입니다. 셋째, 이전 처리 결과를 재사용하여 중복 계산을 최소화하는 캐시-재사용 메커니즘(Cache-and-Reuse Mechanism)입니다. 실험 결과는 당사의 프레임워크를 통해 처리된 데이터를 사용하여 학습된 모델이 처리되지 않은 데이터로 학습된 모델에 비해 80% 이상의 우수한 성능을 보인다는 것을 보여줍니다. 또한, LLM 에이전트 기반의 AutoML 기준 모델과 비교했을 때, LLM-AutoDP는 약 65%의 우수한 성능을 달성했습니다. 더욱이, 당사의 가속화 기술은 총 탐색 시간을 최대 10배까지 단축시켜 효과성과 효율성을 동시에 입증했습니다.

Large Language Models (LLMs) can be fine-tuned on domain-specific data to enhance their performance in specialized fields. However, such data often contains numerous low-quality samples, necessitating effective data processing (DP). In practice, DP strategies are typically developed through iterative manual analysis and trial-and-error adjustment. These processes inevitably incur high labor costs and may lead to privacy issues in high-privacy domains like healthcare due to direct human access to sensitive data. Thus, achieving automated data processing without exposing the raw data has become a critical challenge. To address this challenge, we propose LLM-AutoDP, a novel framework that leverages LLMs as agents to automatically generate and optimize data processing strategies. Our method generates multiple candidate strategies and iteratively refines them using feedback signals and comparative evaluations. This iterative in-context learning mechanism enables the agent to converge toward high-quality processing pipelines without requiring direct human intervention or access to the underlying data. To further accelerate strategy search, we introduce three key techniques: Distribution Preserving Sampling, which reduces data volume while maintaining distributional integrity; Processing Target Selection, which uses a binary classifier to identify low-quality samples for focused processing; Cache-and-Reuse Mechanism}, which minimizes redundant computations by reusing prior processing results. Results show that models trained on data processed by our framework achieve over 80% win rates against models trained on unprocessed data. Compared to AutoML baselines based on LLM agents, LLM-AutoDP achieves approximately a 65% win rate. Moreover, our acceleration techniques reduce the total searching time by up to 10 times, demonstrating both effectiveness and efficiency.