IDEA: 구어적-수치적 보정 기반의 LLM 설명 가능 및 편집 가능한 의사 결정 프레임워크

IDEA: An Interpretable and Editable Decision-Making Framework for LLMs via Verbal-to-Numeric Calibration

대규모 언어 모델(LLM)은 의사 결정에 점점 더 많이 활용되고 있지만, 부정확한 확률, 신뢰할 수 없는 설명, 그리고 전문 지식을 정확하게 통합할 수 없다는 한계로 인해 고위험 분야에서의 활용은 제한적입니다. 본 논문에서는 IDEA라는 프레임워크를 제안합니다. IDEA는 LLM의 의사 결정 지식을 의미 있는 요소를 기반으로 하는 해석 가능한 파라미터 모델로 추출합니다. EM 알고리즘을 통해 구어적-수치적 매핑과 의사 결정 파라미터를 동시에 학습하고, 요소 간의 의존성을 유지하는 상관 관계 샘플링을 사용하며, 수학적 보장을 통해 직접적인 파라미터 편집을 수행함으로써, IDEA는 정확하게 보정된 확률을 생성하고, 정량적인 인간-AI 협업을 가능하게 합니다. 다섯 개의 데이터 세트에 대한 실험 결과, Qwen-3-32B를 사용하는 IDEA(78.6%)는 DeepSeek R1(68.1%) 및 GPT-5.2(77.9%)보다 성능이 우수했으며, 완벽한 요소 제외 및 정확한 보정을 달성했습니다. 이는 프롬프팅만으로는 달성할 수 없는 정밀도입니다. IDEA의 구현 코드는 https://github.com/leonbig/IDEA 에서 공개적으로 이용할 수 있습니다.

Large Language Models are increasingly deployed for decision-making, yet their adoption in high-stakes domains remains limited by miscalibrated probabilities, unfaithful explanations, and inability to incorporate expert knowledge precisely. We propose IDEA, a framework that extracts LLM decision knowledge into an interpretable parametric model over semantically meaningful factors. Through joint learning of verbal-to-numerical mappings and decision parameters via EM, correlated sampling that preserves factor dependencies, and direct parameter editing with mathematical guarantees, IDEA produces calibrated probabilities while enabling quantitative human-AI collaboration. Experiments across five datasets show IDEA with Qwen-3-32B (78.6%) outperforms DeepSeek R1 (68.1%) and GPT-5.2 (77.9%), achieving perfect factor exclusion and exact calibration -- precision unattainable through prompting alone. The implementation is publicly available at https://github.com/leonbig/IDEA.