LLM을 도구로 활용: 신경망 구조 탐색을 위한 코드 분석 기반 트리 변환

LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

신경망 구조 탐색(NAS)은 고성능의 심층 신경망(DNN) 구조를 자동으로 발견하는 것을 목표로 합니다. 그러나 기존의 알고리즘 기반 NAS는 실행 가능성을 보장하기 위해 신중하게 설계된 탐색 공간에 의존하며, 이는 자유로운 탐색을 제한합니다. 최근에는 대규모 언어 모델(LLM)을 활용한 코딩 기반의 방법론이 수동 설계 과정을 줄여주지만, 현재 LLM은 복잡하고 유효한 구조를 안정적으로 생성하는 데 어려움을 겪으며, 제안하는 구조는 종종 학습 데이터에서 관찰된 특정 패턴에 편향되어 있습니다. 신뢰할 수 있는 알고리즘 기반 탐색과 강력한 LLM 지원을 결합하기 위해, 우리는 안정적이고 개방적인 모델 진화를 위한 계층적 트리 기반 NAS 프레임워크인 LLMasTool을 제안합니다. 우리의 방법은 임의의 소스 코드에서 재사용 가능한 모듈을 자동으로 추출하고, 전체 구조를 계층적 트리로 표현하여, 코드 생성 대신 신뢰할 수 있는 트리 변환을 통해 진화를 가능하게 합니다. 각 진화 단계에서, 다양성을 고려한 알고리즘이 베이지안 모델링을 활용하여 탐색 효율성을 향상시키는 동시에, LLM은 나머지 자유도를 해결하여 의미 있는 진화 경로와 실행 가능한 생성된 구조를 보장합니다. 이러한 접근 방식을 통해, 우리의 방법은 완전한 LLM 기반 접근 방식이 가진 고유한 편향을 극복하고 다양한 방향으로 탐색할 수 있습니다. 우리의 방법은 CIFAR-10, CIFAR-100, ImageNet16-120 데이터셋에서 각각 0.69, 1.83, 2.68 포인트의 성능 향상을 보여주며, 그 효과를 입증합니다.

Neural Architecture Search (NAS) aims to automatically discover high-performing deep neural network (DNN) architectures. However, conventional algorithm-driven NAS relies on carefully hand-crafted search spaces to ensure executability, which restricts open-ended exploration. Recent coding-based agentic approaches using large language models (LLMs) reduce manual design, but current LLMs struggle to reliably generate complex, valid architectures, and their proposals are often biased toward a narrow set of patterns observed in their training data. To bridge reliable algorithmic search with powerful LLM assistance, we propose LLMasTool, a hierarchical tree-based NAS framework for stable and open-ended model evolution. Our method automatically extracts reusable modules from arbitrary source code and represents full architectures as hierarchical trees, enabling evolution through reliable tree transformations rather than code generation. At each evolution step, coarse-level planning is governed by a diversity-guided algorithm that leverages Bayesian modeling to improve exploration efficiency, while the LLM resolves the remaining degrees of freedom to ensure a meaningful evolutionary trajectory and an executable generated architecture. With this formulation, instead of fully agentic LLM approaches, our method explores diverse directions beyond the inherent biases in the LLM. Our method improves over existing NAS methods by 0.69, 1.83, and 2.68 points on CIFAR-10, CIFAR-100, and ImageNet16-120, demonstrating its effectiveness.