프롬프트 순서에서 길을 잃다: 언어 모델의 인과적 어텐션(Causal Attention)이 가진 한계 규명

Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models

거대 언어 모델은 프롬프트 구조에 놀라운 민감성을 보이지만, 이러한 민감성의 기저에 있는 메커니즘은 아직 명확히 밝혀지지 않았습니다. 본 연구에서는 한 가지 주목할 만한 사례를 심층적으로 조사합니다. 객관식 질의응답 과제에서 문맥을 질문과 선택지보다 앞에 배치하는 방식(CQO)이 그 반대의 경우(QOC)보다 광범위한 모델과 데이터셋에 걸쳐 일관되게 14%포인트 이상 높은 성능을 보였습니다. 체계적인 아키텍처 분석을 통해 우리는 인과적 어텐션(causal attention)을 그 핵심 원인으로 규명했습니다. 즉, QOC 프롬프트에서는 인과적 마스크(causal mask)가 선택지 토큰이 문맥을 참조하는 것을 차단하여, 문맥 정보가 선택지에 전달되지 않는 정보 병목 현상을 초래한다는 것입니다.

Large language models exhibit surprising sensitivity to the structure of the prompt, but the mechanisms underlying this sensitivity remain poorly understood. In this work, we conduct an in-depth investigation on a striking case: in multiple-choice question answering, placing context before the questions and options (CQO) outperforms the reverse order (QOC) by over 14%p, consistently over a wide range of models and datasets. Through systematic architectural analysis, we identify causal attention as the core mechanism: in QOC prompts, the causal mask prevents option tokens from attending to context, creating an information bottleneck where context becomes invisible to options.