뉴로심볼릭 LoRA: 가중치 조정과 프롬프트 재작성의 이유와 시점

Neurosymbolic LoRA: Why and When to Tune Weights vs. Rewrite Prompts

대규모 언어 모델(LLM)은 모델 파라미터를 변경하는 수치적 업데이트나 이산적 프롬프트 또는 논리적 제약 조건을 다루는 심볼릭 조작을 통해 조정될 수 있다. 수치적 미세 조정은 새로운 사실적 지식을 주입하는 데 탁월한 반면, 심볼릭 업데이트는 재학습 없이 스타일과 정렬을 유연하게 제어할 수 있다는 장점이 있다. 본 논문에서는 이 두 가지 상호 보완적인 전략을 동적으로 결합하는 뉴로심볼릭 LoRA 프레임워크를 소개한다. 구체적으로, 심층적인 사실 재구성을 위해 LoRA를 사용할 시점과 토큰 수준의 편집을 위해 TextGrad를 적용할 시점을 결정하는 통합 모니터링 신호와 보상 기반 분류기를 제안한다. 우리의 접근 방식은 필요할 때만 심볼릭 변환 작업을 외부 LLM에 오프로딩함으로써 메모리 효율성을 유지한다. 또한, 심볼릭 편집 과정에서 생성된 정제된 프롬프트는 수학적 추론과 같이 데이터가 희소한 도메인에서 중요한 이점인 고품질의 재사용 가능한 훈련 데이터 역할을 한다. 여러 LLM 백본에 걸친 광범위한 실험을 통해 뉴로심볼릭 LoRA가 순수 수치적 또는 순수 심볼릭 베이스라인보다 일관되게 우수한 성능을 보이며, 뛰어난 적응성과 향상된 성능을 입증함을 보여준다. 본 연구 결과는 언어 모델 미세 조정에서 새로운 차원의 다재다능함을 실현하기 위해 수치적 업데이트와 심볼릭 업데이트를 교차 적용하는 것의 가치를 강조한다.

Large language models (LLMs) can be adapted either through numerical updates that alter model parameters or symbolic manipulations that work on discrete prompts or logical constraints. While numerical fine-tuning excels at injecting new factual knowledge, symbolic updates offer flexible control of style and alignment without retraining. We introduce a neurosymbolic LoRA framework that dynamically combines these two complementary strategies. Specifically, we present a unified monitoring signal and a reward-based classifier to decide when to employ LoRA for deeper factual reconstruction and when to apply TextGrad for token-level edits. Our approach remains memory-efficient by offloading the symbolic transformations to an external LLM only when needed. Additionally, the refined prompts produced during symbolic editing serve as high-quality, reusable training data, an important benefit in data-scarce domains like mathematical reasoning. Extensive experiments across multiple LLM backbones show that neurosymbolic LoRA consistently outperforms purely numerical or purely symbolic baselines, demonstrating superior adaptability and improved performance. Our findings highlight the value of interleaving numerical and symbolic updates to unlock a new level of versatility in language model fine-tuning.