스케치-오브-쏘트(Sketch-of-Thought)를 활용한 적응적 인과적 프롬프팅을 통한 대규모 언어 모델의 편향 해소

Debiasing Large Language Models via Adaptive Causal Prompting with Sketch-of-Thought

대규모 언어 모델(LLM)을 위한 프롬프팅 방법, 특히 체인-오브-쏘트(CoT)와 같은 방법론이 상당한 발전을 이루었음에도 불구하고, 기존 전략은 여전히 과도한 토큰 사용량과 다양한 추론 작업에 대한 제한적인 일반화 성능이라는 문제점을 가지고 있습니다. 이러한 한계점을 해결하기 위해, 우리는 구조적 인과 모델을 활용하여 쿼리가 답변에 미치는 인과적 효과를 추론하고, 적절한 개입(즉, 표준 프론트-도어 및 조건부 프론트-도어 조정)을 적응적으로 선택하는 '적응적 인과적 프롬프팅(ACPS)' 프레임워크를 제안합니다. 이 설계는 작업별 재학습 없이 다양한 작업에 대한 일반화된 인과적 추론을 가능하게 합니다. ACPS는 장황한 CoT 대신 간결한 스케치-오브-쏘트를 사용하여 효율적인 추론을 가능하게 하며, 이를 통해 토큰 사용량과 추론 비용을 크게 줄입니다. 여러 추론 벤치마크와 LLM에 대한 광범위한 실험 결과, ACPS는 정확도, 안정성 및 계산 효율성 측면에서 기존 프롬프팅 방법보다 우수한 성능을 보였습니다.

Despite notable advancements in prompting methods for Large Language Models (LLMs), such as Chain-of-Thought (CoT), existing strategies still suffer from excessive token usage and limited generalisability across diverse reasoning tasks. To address these limitations, we propose an Adaptive Causal Prompting with Sketch-of-Thought (ACPS) framework, which leverages structural causal models to infer the causal effect of a query on its answer and adaptively select an appropriate intervention (i.e., standard front-door and conditional front-door adjustments). This design enables generalisable causal reasoning across heterogeneous tasks without task-specific retraining. By replacing verbose CoT with concise Sketch-of-Thought, ACPS enables efficient reasoning that significantly reduces token usage and inference cost. Extensive experiments on multiple reasoning benchmarks and LLMs demonstrate that ACPS consistently outperforms existing prompting baselines in terms of accuracy, robustness, and computational efficiency.