로컬 LoRA-MoE: 어댑티브 라우팅을 갖춘 블록 단위 저랭크 전문가

Localized LoRA-MoE: Block-wise Low-Rank Experts With Adaptive Routing

대규모 언어 모델(LLM)과 고차원 인식 네트워크는 다양한 운영 환경에 적응하기 위해 점점 더 파라미터 효율적인 미세 조정(PEFT) 기술에 의존하고 있습니다. 그러나 LoRA와 같은 표준 방법은 단일 구조적 병목 현상으로 인해 그레이디언트 문제에 매우 취약합니다. 상호 연결된 다중 작업 스트림은 어댑터 가중치를 특수화되지 않은 평균 값으로 만들 수 있는 파괴적인 최적화 피드백을 유발할 수 있습니다. 최근의 공간 분할 방법이 블록 단위 격리를 도입했지만, 이들은 여전히 정적인 토폴로지에 갇혀 있으며 동적인 작업 전환이나 환경 센서 오류에 적응할 수 없습니다. 본 연구에서는 로컬 LoRA-MoE라는 통합 프레임워크를 소개합니다. 이는 로컬 공간 분할과 동적, 컨텍스트 기반 라우팅을 결합합니다. 우리는 두 가지 새로운 아키텍처 패러다임을 제안하고 평가했습니다. 첫째는 단일 컨텍스트 신호를 통해 전체 구조 그리드를 조절하는 중앙 집중식 매크로 라우팅 방식인 블록 단위 LoRA-MoE이고, 둘째는 행렬 그리드의 모든 좌표 셀에 자율적인 로컬 전문가 게이팅 기능을 부여하는 분산형 마이크로 라우팅 방식인 셀 단위 LoRA-MoE입니다. 고차원 SVD 행렬 시뮬레이션, 실제 표 데이터 변환, 센서 성능 저하 환경에서의 공간 인식 등 다양한 벤치마크를 통해 두 아키텍처 모두 정적 기준에서 발생하는 최적화 문제 해결 능력을 입증했습니다. 실험 결과는 분산형 셀 수준 게이팅이 모든 정보를 가진 글로벌 조정자와 완벽하게 동일한 통계적 성능을 달성하며, 오류 전파로 인한 손상으로부터 생존 경로를 보호하는 강력한 "그레이디언트 방화벽" 역할을 한다는 것을 보여줍니다. 제안된 방법은 정적 기준보다 일관되게 우수한 성능을 보이며, 세분화된 좌표 영역과 변화하는 운영 환경에서 동적 모델 적응을 위한 확장 가능하고 파라미터 효율적인 솔루션을 제공합니다.

Large Language Models (LLMs) and high-dimensional perception networks increasingly rely on parameter-efficient fine-tuning (PEFT) to adapt to diverse operational contexts. However, standard methods like LoRA are structurally limited by a monolithic bottleneck, making them highly susceptible to gradient warfare. Interleaved multi-task streams may trigger destructive optimization feedback, collapsing adapter weights into unspecialized averages. While recent spatial partitioning methods have introduced block-wise isolation, they remain trapped in static topologies, unable to adapt to dynamic task-switching or environmental sensor failure. In this work, we introduce Localized LoRA-MoE, a unified framework that fuses localized spatial blocking with dynamic, context-conditioned routing. We propose and evaluate two novel architectural paradigms: Block-Wise LoRA-MoE (Centralized Macro-Routing), which modulates the entire structural grid via a monolithic context signal, and Cell-Wise LoRA-MoE (Decentralized Micro-Routing), which empowers every coordinate cell in the matrix grid with autonomous, localized expert gating. Through a comprehensive suite of benchmarks, ranging from high-dimensional SVD matrix simulations and real-world tabular transformations to spatial vision perception under sensor degradation, we demonstrate that both architectures resolve optimization deadlocks inherent in static baselines. Our empirical results establish that decentralized cell-level gating achieves complete statistical parity with an omniscient global coordinator, providing a robust "gradient firewall" that protects surviving pathways from fault-propagated corruption. Our proposals consistently outperform static baselines, offering a scalable and parameter-efficient solution for dynamic model adaptation across granular coordinate fields and shifting operational regimes.