과학적 지식을 기반으로 한 디코딩 제약: LLM의 신뢰성 향상

Scientific Knowledge-driven Decoding Constraints Improving the Reliability of LLMs

대규모 언어 모델(LLM)은 뛰어난 지식 저장 능력과 문제 해결 능력을 보여주지만, 여전히 심각한 환각 현상으로 인해 실제 적용에 어려움을 겪고 있습니다. 과학 이론과 규칙은 인간의 작업 수행을 효과적으로 안내할 수 있지만, LLM은 이러한 고밀도 지식을 훈련 또는 프롬프팅을 통해 충분히 활용하지 못하고 있습니다. 이러한 문제를 해결하기 위해, 우리는 특정 분야의 지식을 강력한 제약 조건과 통합하는 LLM 생성 방법인 **SciDC**를 제안합니다. 강력한 LLM을 사용하여 유연한 지식을 다층적이고 표준화된 규칙으로 자동 변환함으로써, 도메인 작업에 대한 모델 생성을 효과적으로 제약하는 확장 가능한 프레임워크를 구축했습니다. 산업 제형 설계, 임상 종양 진단 및 역합성 계획을 포함한 과학적 작업에 대한 실험 결과, 제안하는 방법이 기존 생성 방법에 비해 평균적으로 12%의 정확도 향상을 보여주었습니다. 또한, LLM이 고밀도 지식을 자동으로 유도적으로 요약하는 잠재력에 대해 논의하고, 전반적인 과학 연구 프로세스를 가속화할 수 있는 실질적인 해결책을 제시합니다. 본 논문의 모든 코드는 다음 주소에서 확인할 수 있습니다 (https://github.com/Maotian-Ma/SciDC).

Large language models (LLMs) have shown strong knowledge reserves and task-solving capabilities, but still face the challenge of severe hallucination, hindering their practical application. Though scientific theories and rules can efficiently direct the behaviors of human manipulators, LLMs still do not utilize these highly-condensed knowledge sufficiently through training or prompting. To address this issue, we propose \textbf{SciDC}, an LLM generation method that integrate subject-specific knowledge with strong constraints. By adopting strong LLMs to automatically convert flexible knowledge into multi-layered, standardized rules, we build an extensible framework to effectively constrain the model generation on domain tasks. Experiments on scientific tasks including industrial formulation design, clinical tumor diagnosis and retrosynthesis planning, consistently demonstrate the effectiveness of our method, achieving a 12\% accuracy improvement on average compared with vanilla generation. We further discuss the potential of LLMs in automatically inductively summarizing highly-condensed knowledge, looking ahead to practical solutions for accelerating the overall scientific research process. All the code of this paper can be obtained (https://github.com/Maotian-Ma/SciDC).