GraphIR: LLM 기반 신경망 구조 진화 모델을 위한 아키텍처 수준의 검색 상태

GraphIR: Architecture-Level Search States for LLM-Guided Neural Architecture Evolution

대규모 언어 모델(LLM)은 실행 가능한 신경망 프로그램을 직접 활용하여 신경망 구조 탐색(NAS)을 가능하게 합니다. 그러나 코드 수준의 유연성은 효과적인 변이를 위해 필요한 아키텍처 상태를 제공하지 않습니다. LLM은 텐서 의존성, 편집 가능한 구성 요소 및 호환성 제약 조건을 구현 세부 정보에서 추론해야 합니다. 이러한 표현 불일치를 해결하기 위해, 실행 가능한 프로그램에 변이와 관련된 후보 상태 정보를 추가하는 아키텍처 인식 중간 표현인 GraphIR을 제안합니다. GraphIR은 각 후보를 세 가지 상호 보완적인 관점을 통해 구성합니다. 첫째, 텐서 흐름을 설명하는 계산 스케줄, 둘째, 편집 가능한 모듈 및 연산을 노출하는 변이 표면, 그리고 셋째, 인터페이스 계약, 전파된 형태 및 하위 종속성을 포착하는 유효성 범위입니다. 제안하는 방법의 성능을 평가하기 위해, 여섯 가지 상호 보완적인 의존성 추론 차원을 다루는 120개의 질문으로 구성된 벤치마크인 NAS-Dependency를 구축했습니다. 진단 결과, GraphIR은 정확한 생성자 발생 여부를 식별하고, 의존성 전파 과정을 추적하며, 인터페이스 및 실패 위험을 진단하는 데 특히 효과적인 것으로 나타났습니다. CLRS를 포함한 여섯 가지 하위 벤치마크에서, GraphIR은 OpenEvolve에 통합되었을 때 가장 우수한 전체 검색 성능을 달성했으며, 모델 크기가 유사하고 엔드 투 엔드 NAS 효율성이 양호했습니다. 이러한 결과는 변이 지향적인 아키텍처 상태가 실행 가능한 신경망 프로그램과 LLM 기반의 아키텍처 진화 사이에서 효과적인 인터페이스를 제공한다는 것을 보여줍니다.

Large language models (LLMs) enable neural architecture search (NAS) directly over executable neural network programs. However, code-level flexibility does not provide the architecture state needed for effective mutation: LLMs must infer tensor dependencies, editable components, and compatibility constraints from implementation details. To address this representation mismatch, we propose GraphIR, an architecture-aware intermediate representation that supplements executable programs with a mutation-aligned candidate state. GraphIR organizes each candidate through three complementary views: a computation skeleton describing tensor flow, a mutation surface exposing editable modules and operations, and a validity envelope capturing interface contracts, propagated shapes, and downstream dependencies. To evaluate our method, we construct NAS-Dependency, a 120-question benchmark covering six complementary dependency-reasoning dimensions. The diagnostic shows that GraphIR is particularly effective at identifying exact producer occurrences, tracing dependency propagation, and diagnosing interface and failure risks. Across six downstream benchmarks including CLRS, GraphIR achieves the best overall search performance while maintaining comparable model size and favorable end-to-end NAS efficiency when integrated into OpenEvolve. These results show that a mutation-oriented architecture state provides an effective interface between executable neural programs and LLM-guided architecture evolution.