TextBFGS: 그래디언트-연산자 검색을 통한 이산 실행 텍스트의 준-뉴턴 최적화

TextBFGS: Quasi-Newton Optimization for Discrete Executable Text via Gradient-Operator Retrieval

최근 프롬프트 및 코드와 같은 이산 실행 텍스트 최적화는 그래디언트 기반 프로세스로 정의되어 왔으며, 이는 백프로파게이션 개념을 의미 공간으로 효과적으로 변환하는 것입니다. 그러나 기존 방법은 대부분 확률적 그래디언트 하강과 유사한 1차 최적화 기법을 사용하며, 이는 최적화 지형의 의미적 곡률을 무시하기 때문에 느린 수렴 속도와 불안정성을 초래합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 이산 텍스트에 대한 준-뉴턴 최적화 방법을 구현하는 2차 프레임워크인 TextBFGS를 소개합니다. TextBFGS는 기존의 메모리 기반 접근 방식과 달리, 유사한 텍스트 인스턴스를 검색하는 대신, 미리 학습된 성공적인 경로에서 그래디언트-연산자를 검색하여 역 헤세 행렬을 근사합니다. 구체적으로, 텍스트 그래디언트 피드백이 주어지면, TextBFGS는 최적화 지식 베이스에서 과거의 수정 패턴을 식별하고, 이러한 추상적인 연산자를 현재 변수에 적용하려고 시도합니다. 이 메커니즘은 피드백 생성과 2차 수정 단계를 단일 추론 단계로 결합하는 원-패스 업데이트를 가능하게 합니다. 다양한 도메인(예: HumanEval, MBPP)의 코드 최적화에 대한 실험 결과는 TextBFGS가 1차 기반 모델보다 훨씬 우수한 성능을 보임을 보여줍니다. TextBFGS는 더 적은 모델 호출로 더 높은 성공률을 달성하며, 강력한 교차 작업 전이성을 나타내므로, 효율적이고 메모리 기반의 텍스트 최적화를 위한 수학적으로 견고한 패러다임을 확립합니다.

Optimizing discrete executable text such as prompts and code has recently been framed as a gradient-based process, effectively translating backpropagation concepts to the semantic space. However, existing methods predominantly operate as first-order optimizers akin to Stochastic Gradient Descent, which are suffering from slow convergence and instability because they neglect the semantic curvature of the optimization landscape. To bridge this gap, we introduce TextBFGS, a second-order framework to implement a Quasi-Newton optimization method for discrete text. Unlike traditional memory-based approaches that retrieve similar textual instances, TextBFGS approximates the inverse Hessian matrix by retrieving Gradient-Operators from the memory of pre-learned successful trajectories. Specifically, given a textual gradient feedback, TextBFGS identifies historical correction patterns from the optimization knowledge base and tries to apply these abstract operators to the current variable. This mechanism enables a One-Pass Update, combining feedback generation and second-order correction into a single inference step. Empirical evaluations on code optimization across diverse domains (e.g., HumanEval, MBPP) demonstrate that TextBFGS significantly outperforms first-order baselines. It achieves superior pass rates with fewer model calls and exhibits strong cross-task transferability, thus establishes a mathematically grounded paradigm for efficient, memory-aware text optimization.