제어 가능한 추론 모델은 개인 정보 보호 기능이 뛰어난 모델이다

From Leaky Thoughts to Private Reasoning: Controlling What LRMs Say to Themselves

추론 모델을 기반으로 작동하는 AI 에이전트는 민감한 사용자 데이터에 접근해야 합니다. 그러나 이러한 모델의 추론 과정은 제어하기 어렵기 때문에, 의도치 않게 개인 정보가 외부로 유출될 위험이 있습니다. 본 연구에서는 모델이 최종 답변뿐만 아니라 추론 과정에서도 지시 사항을 따르도록 훈련하는 방법을 제안합니다. 이를 통해 다양한 제약 조건 하에서도 지시 사항을 따르도록 훈련하면, 개인 정보 보호 능력이 향상될 것이라고 가정합니다. 이를 입증하기 위해, 우리는 추론 과정에 명시적인 제한이 있는 새로운 지시 사항 준수 데이터 세트를 사용하여 모델을 미세 조정했습니다. 또한, 추론 과정과 답변 생성 과정을 분리하는 LoRA 어댑터를 사용하여 새로운 생성 전략을 도입했습니다. 1.7B에서 14B 파라미터에 이르는 두 가지 모델 패밀리의 6개 모델을 사용하여 두 가지 지시 사항 준수 벤치마크와 두 가지 개인 정보 보호 벤치마크에서 제안하는 방법을 평가했습니다. 그 결과, 지시 사항 준수 성능이 최대 20.9점, 개인 정보 보호 벤치마크에서 최대 51.9%p 향상되는 상당한 개선 효과를 얻었습니다. 그러나 이러한 개선은 추론 성능과 지시 사항 준수 능력 간의 균형으로 인해 작업 유용성을 저하시킬 수 있습니다. 전반적으로, 본 연구 결과는 추론 모델의 지시 사항 준수 능력을 향상시키는 것이 개인 정보를 크게 향상시킬 수 있음을 보여주며, 향후 개인 정보 보호 기능이 강화된 에이전트 개발에 유망한 방향을 제시합니다. 본 연구의 코드와 데이터는 https://github.com/UKPLab/arxiv2026-controllable-reasoning-models 에서 확인할 수 있습니다.

Large reasoning models (LRMs) produce reasoning traces (RTs) that often contain sensitive information. These leaky thoughts are difficult to control and frequently violate explicit privacy directives. Because RTs can be exposed through prompt injection attacks, this becomes a direct privacy risk to the user. We approach this as a controllability problem: since privacy directives are themselves instructions, improving instruction-following (IF) within the RT provides a direct path to reducing privacy leaks. To this end, we introduce an SFT dataset that teaches models to follow general instructions throughout their reasoning process, and propose Staged Decoding, a simple decoding strategy that decouples RT and answer generation using separate LoRA adapters to maximize IF of each component. We evaluate our approach on six models from two families (1.7B-14B parameters), across two IF benchmarks and two privacy benchmarks. Our method yields substantial improvements, with gains of up to 20.9 points in IF and 51.9 percentage points on privacy benchmarks, though these can come at the cost of task utility due to the trade-off between reasoning performance and IF. Our results show that improving IF in LRMs can significantly enhance privacy, suggesting a promising direction for future privacy-aware LRMs. Our code is available at https://github.com/UKPLab/arxiv2026-controllable-reasoning-models.