날개가 없는 새는 무엇일까요?: 스키마 기반 의미 매칭 및 자기 주도 개선을 통한 제약 조건 기반 지식 그래프 질의 응답

Which bird does not have wings: Negative-constrained KGQA with Schema-guided Semantic Matching and Self-directed Refinement

대규모 언어 모델은 뛰어난 추론 능력에도 불구하고 여전히 신뢰성과 환각 문제를 안고 있습니다. 지식 그래프 질의 응답(KGQA)에서 의미 파싱 기반 접근 방식은 사용자의 질문에 포함된 제약 조건을 이해하고 이를 논리 형태로 변환하여 지식 그래프에서 실행함으로써 이러한 한계를 극복합니다. 그러나 기존의 KGQA 벤치마크 및 방법은 주로 긍정적 제약 및 계산 제약에 편향되어 있으며, 실제 질문에서 자주 나타나는 부정적 제약은 간과되는 경우가 많습니다. 본 논문에서는 각 질문에 최소 하나의 부정적 제약이 포함된 새로운 작업인 NEgative-conSTrained (NEST) KGQA를 소개하고, 이에 해당하는 데이터셋인 NestKG. 데이터를 제시합니다. 또한, 기존의 논리 형태가 명확한 부정 표현을 유지하면서 가독성을 확보하기 어렵기 때문에, 파이썬 형식의 논리 형태인 PyLF를 설계했습니다. 더욱이, NEST 질문은 자연스럽게 여러 제약 조건을 포함합니다. 이러한 의미적 복잡성을 완화하기 위해, 여러 제약 조건이 있는 질문에 특화되어 의미적 실행 가능성을 보장하는 새로운 프레임워크인 CUCKOO를 제안합니다. CUCKOO는 먼저 제약 조건에 대한 인식을 갖춘 논리 형태 초안을 생성하고, 스키마 기반 의미 매칭을 수행합니다. 그런 다음, 부적절한 논리 형태 실행 결과가 비어 있을 때에만 자기 주도 개선을 선택적으로 적용하여 비용을 줄이면서도 견고성을 향상시킵니다. 실험 결과는 CUCKOO가 few-shot 환경에서 기존 방법보다 기존 KGQA 및 NEST-KGQA 벤치마크에서 일관되게 우수한 성능을 보임을 보여줍니다.

Large language models still struggle with faithfulness and hallucinations despite their remarkable reasoning abilities. In Knowledge Graph Question Answering (KGQA), semantic parsing-based approaches address the limitations by understanding constraints in a user's question and converting them into a logical form to execute on a knowledge graph. However, existing KGQA benchmarks and methods are biased toward positive and calculation constraints. Negative constraints are neglected, although they frequently appear in real-world questions. In this paper, we introduce a new task, NEgative-conSTrained (NEST) KGQA, where each question contains at least one negative constraint, and a corresponding dataset, NestKGQA. We also design PyLF, a Python-formatted logical form, since existing logical forms are hardly suitable to express negation clearly while maintaining readability. Furthermore, NEST questions naturally contain multiple constraints. To mitigate their semantic complexity, we present a novel framework named CUCKOO, specialized to multiple-constrained questions and ensuring semantic executability. CUCKOO first generates a constraint-aware logical form draft and performs schema-guided semantic matching. It then selectively applies self-directed refinement only when executing improper logical forms yields an empty result, reducing cost while improving robustness. Experimental results demonstrate that CUCKOO consistently outperforms baselines on both conventional KGQA and NEST-KGQA benchmarks under few-shot settings.