물리적 제약 조건 하에서 작동하는 인공지능 모델의 진화

Agentic evolution of physically constrained foundation models

인공지능은 과학적 발견을 자동화하는 데 점점 더 큰 역할을 하고 있지만, 현재의 범용 인공지능 에이전트는 물리적 기반 지식 부족으로 인해 종종 현실과 맞지 않는 설계를 생성합니다. 본 연구에서는 물리적 제약 조건을 고려하여 하드웨어 호환성을 갖춘 컴퓨팅 시스템을 자율적으로 설계하는 다중 에이전트 기반 발견 엔진을 제시합니다. 이 프레임워크는 과거의 과학적 혁신을 구조화한 '진화 지식 그래프'를 기반으로, 무작위 탐색을 지능적인 구조적 진화로 변환하기 위한 '알고리즘 추론 체인'을 추출합니다. 이 엔진은 파운데이션 모델 배포이라는 어려운 환경에 적용되어, 인간이 설계한 기존 방법보다 뛰어난 두 가지 하드웨어 인식 압축 방법을 개발했습니다. Q-Enhance는 밀집 모델에서 긴 문맥으로 인한 정확도 손실을 완화하고, MoE-Salient-AQ는 최첨단 희소 Mixture-of-Experts 설계를 3.7% 이상 능가하는 성능을 보였습니다. 또한, 효율적인 '민감도 프로파일'을 활용하여 2350억 개의 파라미터를 가진 거대 모델을 제한된 dual-A100 서버에 배포하고, 메모리 요구 사항을 75% 줄이면서 정확도는 0.64%만 감소시켰습니다. 본 연구는 무제한적인 조합 탐색을 지식 기반의 자율성으로 전환하여, 엄격한 물리적 제약 조건 내에서 기계 기반의 과학적 발견을 위한 확장 가능한 하드웨어-소프트웨어 공동 설계 패러다임을 제시합니다.

Artificial intelligence increasingly drives automated scientific discovery, yet contemporary generalist agents lack physical grounding, frequently hallucinating hardware-incompatible designs. Here, we present a physically grounded, multi-agent discovery engine that autonomously architects hardware-compliant computing systems. Anchored by an Evolutionary Knowledge Graph structuring past scientific innovations, the framework extracts an "algorithmic Chain-of-Thought" to transform blind stochastic search into directed structural evolution. Applied to the extreme testbed of foundation model deployment, the engine evolved two hardware-aware compression methodologies surpassing human-engineered heuristics: Q-Enhance mitigates long-context accuracy loss in dense models, and MoE-Salient-AQ outperforms state-of-the-art manual sparse Mixture-of-Experts designs by 3.7% at sub-3-bit regimes. Utilizing a bandwidth-efficient Sensitivity Profile, we successfully deployed a massive 235-billion-parameter model onto a constrained dual-A100 server, reducing memory requirements by 75% with a marginal 0.64% accuracy degradation. By transforming unconstrained combinatorial search into knowledge-driven autonomy, this establishes a scalable hardware-software co-design paradigm for machine-driven discovery within strict physical boundaries.