OrLog: LLM과 확률적 추론을 활용한 복잡한 질의 해결

OrLog: Resolving Complex Queries with LLMs and Probabilistic Reasoning

다양한 제약 조건을 포함하는 복잡한 정보 요구 사항을 해결하기 위해서는, 쿼리에 포함된 논리 연산자(예: 논리곱, 논리합, 부정)를 후보 응답 집합에 적용해야 합니다. 현재 검색 시스템은 이러한 제약 조건을 신경망 임베딩에서 무시하거나, 일관성이 없고 신뢰성이 떨어질 수 있는 생성적 추론 과정을 통해 근사합니다. 기존의 신경-기호 접근 방식은 정형화된 논리 또는 수학 문제에 적합하지만, 종종 명확한 쿼리를 가정하고 완전한 증거에 접근할 수 있다고 가정하기 때문에 정보 검색에서 흔히 발생하는 조건과는 거리가 멉니다. 이러한 간극을 해소하기 위해, 우리는 프레디케이트 수준의 가능성 추정에서 논리적 추론을 분리하는 신경-기호 검색 프레임워크인 OrLog를 소개합니다. 대규모 언어 모델(LLM)은 하나의 디코딩 없는 방식으로 원자 프레디케이트에 대한 가능성 점수를 제공하며, 이를 통해 확률적 추론 엔진은 쿼리 만족에 대한 사후 확률을 도출합니다. 우리는 OrLog를 다양한 백본 LLM, 외부 지식 접근 수준, 그리고 다양한 논리적 제약 조건 하에서 평가하고, 기존 검색 시스템 및 LLM을 추론 엔진으로 사용하는 방법과 비교했습니다. OrLog는 엔티티 설명을 활용하여, 특히 논리합 쿼리에 대해 LLM 추론 방식보다 상위 순위 정확도를 크게 향상시킬 수 있습니다. 또한 OrLog는 쿼리-엔티티 쌍당 평균 토큰 수를 약 90% 줄여 더 효율적입니다. 이러한 결과는 생성 방식이 없는 프레디케이트 가능성 추정과 확률적 추론의 결합이, 단일 추론 방식보다 더 뛰어난 성능을 보이는 제약 조건 인식 검색을 가능하게 하며, 훨씬 적은 토큰을 사용한다는 것을 보여줍니다.

Resolving complex information needs that come with multiple constraints should consider enforcing the logical operators encoded in the query (i.e., conjunction, disjunction, negation) on the candidate answer set. Current retrieval systems either ignore these constraints in neural embeddings or approximate them in a generative reasoning process that can be inconsistent and unreliable. Although well-suited to structured reasoning, existing neuro-symbolic approaches remain confined to formal logic or mathematics problems as they often assume unambiguous queries and access to complete evidence, conditions rarely met in information retrieval. To bridge this gap, we introduce OrLog, a neuro-symbolic retrieval framework that decouples predicate-level plausibility estimation from logical reasoning: a large language model (LLM) provides plausibility scores for atomic predicates in one decoding-free forward pass, from which a probabilistic reasoning engine derives the posterior probability of query satisfaction. We evaluate OrLog across multiple backbone LLMs, varying levels of access to external knowledge, and a range of logical constraints, and compare it against base retrievers and LLM-as-reasoner methods. Provided with entity descriptions, OrLog can significantly boost top-rank precision compared to LLM reasoning with larger gains on disjunctive queries. OrLog is also more efficient, cutting mean tokens by $\sim$90\% per query-entity pair. These results demonstrate that generation-free predicate plausibility estimation combined with probabilistic reasoning enables constraint-aware retrieval that outperforms monolithic reasoning while using far fewer tokens.