신경망-기호 결합 레포지토리 수준 코드 위치 추론
Neurosymbolic Repo-level Code Localization
코드 위치 추론은 자율 소프트웨어 엔지니어링의 핵심 기술입니다. 최근 연구에서는 실제 문제 벤치마크에서 상당한 성능 향상을 이루었습니다. 하지만, 우리는 중요한 문제점, 즉 간과되어 왔던 편향을 발견했습니다. 이러한 벤치마크는 파일 경로, 함수 이름과 같은 키워드 참조로 가득 차 있으며, 이는 모델이 진정한 구조적 추론보다는 피상적인 어휘적 매칭에 의존하도록 유도합니다. 우리는 이러한 현상을 '키워드 단축 경로(Keyword Shortcut)'라고 명명합니다. 이 문제를 해결하기 위해, 우리는 키워드에 의존하지 않는 논리적 코드 위치 추론(KA-LCL) 문제를 공식화하고, 구조적 추론을 요구하며 어떠한 이름 정보도 제공하지 않는 진단 벤치마크인 KA-LogicQuery를 소개합니다. KA-LogicQuery에 대한 평가는 최첨단 방법들이 성능이 급격히 저하되는 것을 보여주며, 이는 이러한 방법들이 결정적인 추론 능력이 부족하다는 것을 드러냅니다. 우리는 대규모 언어 모델(LLM)과 Datalog의 엄격한 논리 추론을 결합하여 정확한 위치 추론을 가능하게 하는 새로운 에이전트 기반 프레임워크인 LogicLoc을 제안합니다. LogicLoc은 코드베이스에서 프로그램 사실을 추출하고, LLM을 사용하여 Datalog 프로그램을 합성하며, 파서 기반 검증 및 변이 기반 중간 규칙 진단 피드백을 통해 정확성과 효율성을 보장합니다. 검증된 프로그램은 고성능 추론 엔진에 의해 실행되어, 완전 자동화된 폐쇄 루프 워크플로우에서 정확하고 검증 가능한 위치 추론을 가능하게 합니다. 실험 결과는 LogicLoc이 KA-LogicQuery에서 최첨단 방법보다 훨씬 뛰어난 성능을 보이며, 인기 있는 문제 기반 벤치마크에서도 경쟁력 있는 성능을 유지한다는 것을 보여줍니다. 특히, LogicLoc은 구조적 탐색을 결정론적 엔진으로 오프로드하여 반복적인 LLM 추론의 오버헤드를 줄임으로써, 훨씬 적은 토큰 소비량과 빠른 실행 속도로 우수한 성능을 달성합니다.
Code localization is a cornerstone of autonomous software engineering. Recent advancements have achieved impressive performance on real-world issue benchmarks. However, we identify a critical yet overlooked bias: these benchmarks are saturated with keyword references (e.g. file paths, function names), encouraging models to rely on superficial lexical matching rather than genuine structural reasoning. We term this phenomenon the Keyword Shortcut. To address this, we formalize the challenge of Keyword-Agnostic Logical Code Localization (KA-LCL) and introduce KA-LogicQuery, a diagnostic benchmark requiring structural reasoning without any naming hints. Our evaluation reveals a catastrophic performance drop of state-of-the-art approaches on KA-LogicQuery, exposing their lack of deterministic reasoning capabilities. We propose LogicLoc, a novel agentic framework that combines large language models with the rigorous logical reasoning of Datalog for precise localization. LogicLoc extracts program facts from the codebase and leverages an LLM to synthesize Datalog programs, with parser-gated validation and mutation-based intermediate-rule diagnostic feedback to ensure correctness and efficiency. The validated programs are executed by a high-performance inference engine, enabling accurate and verifiable localization in a fully automated, closed-loop workflow. Experimental results demonstrate that LogicLoc significantly outperforms SOTA methods on KA-LogicQuery while maintaining competitive performance on popular issue-driven benchmarks. Notably, LogicLoc attains superior performance with significantly lower token consumption and faster execution by offloading structural traversal to a deterministic engine, reducing the overhead of iterative LLM inference.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.