무엇이 중요한가?: 소프트웨어 엔지니어링 작업에 대한 보상 기반 명확화

Asking What Matters: Reward-Driven Clarification for Software Engineering Tasks

사람들은 종종 작업을 불완전하게 정의하므로, 어시스턴트는 언제 그리고 어떻게 명확화 질문을 해야 하는지 알아야 합니다. 그러나 모든 누락된 정보가 동일하게 가치 있는 것은 아니므로, 그리고 질문은 사용자가 실제로 제공할 수 있는 정보를 대상으로 해야 하므로, 소프트웨어 엔지니어링 작업에서 효과적인 명확화는 여전히 어려운 과제입니다. 본 연구에서는 실제 소프트웨어 엔지니어링 작업에서 명확화를 연구하며, 어떤 유형의 정보가 작업 성공에 가장 큰 영향을 미치는지, 그리고 어떤 질문이 시뮬레이션된 사용자로부터 유용한 답변을 이끌어내는지 정량적으로 분석합니다. Shapley 할당 및 분포 비교를 사용하여 효과적인 명확화의 두 가지 핵심 속성을 파악했습니다. 즉, 작업 관련성(성공을 예측하는 정보)과 사용자 답변 가능성(사용자가 실제로 제공할 수 있는 정보)입니다. 이러한 속성을 다단계 강화 학습 보상으로 구현하여 80억 개의 파라미터를 가진 명확화 모듈인 CLARITI를 학습시켰습니다. CLARITI는 명확하게 정의되지 않은 문제에 대한 해결률이 GPT-5와 유사한 수준을 보이면서도, 41% 더 적은 수의 질문을 생성합니다. 이러한 결과는 정보의 영향과 사용자 답변 가능성에 대한 실증적 분석을 기반으로 보상을 설계하면 명확화 효율성을 향상시킬 수 있음을 시사합니다.

Humans often specify tasks incompletely, so assistants must know when and how to ask clarifying questions. However, effective clarification remains challenging in software engineering tasks as not all missing information is equally valuable, and questions must target information users can realistically provide. We study clarification in real software engineering tasks by quantifying which types of information most affect task success and which questions elicit useful responses from simulated users. Using Shapley attribution and distributional comparisons, we identify two key properties of effective clarification: task relevance (which information predicts success) and user answerability (what users can realistically provide). We operationalize these properties as multi-stage reinforcement learning rewards to train CLARITI, an 8B-parameter clarification module, that matches GPT-5's resolution rate on underspecified issues while generating 41% fewer questions. Our results suggest that grounding reward design in empirical analysis of information impact and user answerability improves clarification efficiency.