심층 상호작용: 대규모 추론 모델을 위한 효율적인 인간-AI 상호작용 방법

Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models

체인 오브 소트(Chain-of-Thought, CoT) 추론의 발전은 거대 언어 모델(LLM)이 복잡하고 다단계 작업을 수행하는 능력을 크게 향상시켰습니다. 그러나 오류가 발생할 때, 현재의 상호작용 방식은 일반적으로 또 다른 응답을 생성하지만 이 또한 실수를 반복하거나, 사용자가 후속 단계에서 오류를 수동으로 수정해야 하며, 이 과정에서 <맞습니다, 제가 여기서 실수를 했습니다>와 같은 반응이 나타나지만 유사한 오류가 계속 발생하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 LLM의 추론 오류를 정확하게 수정할 수 있는 효율적인 인간 개입 메커니즘인 '심층 상호작용'을 제안합니다. 우리의 접근 방식은 원래 응답을 직접 편집하여 오류 부분을 수정하면서도 정확한 추론 단계를 보존할 수 있도록 합니다. 이렇게 편집된 CoT는 정제된 프롬프트로 변환되어 LLM이 수정된 추론 경로를 따라가도록 유도합니다. 실험 결과, 제안하는 방법은 기존 방식에 비해 STEM 관련 추론 작업에서 수정 성공률을 25% 이상 향상시키고 토큰 사용량을 약 40% 줄였습니다.

The emergence of Chain-of-Thought (CoT) reasoning has significantly enhanced the ability of large language models (LLMs) to tackle complex, multi-step tasks. However, when errors occur, current interaction approaches typically involve re-generating another response that may make mistakes again, or users laboriously flag the faulty step in follow-up turns that may get responses <You are right, I made a mistake here> followed by similar errors recurring. To address this issue, we propose an efficient human intervention mechanism for precisely correcting reasoning errors in LLMs, termed Deep Interaction. Our approach enables direct editing of the original response, allowing erroneous parts to be corrected while preserving accurate reasoning steps. We refine the edited CoT into a distilled prompt, which then steers the LLM along the corrected reasoning path. Experimental results show that our method achieves over a 25% improvement in correction success rate and reduces token usage by approximately 40% on STEM tasks reasoning compared to baseline approaches.