더 적은 설명, 더 나은 코드: 코딩 지원 도구에서의 세션 간 개인 맞춤형 모호성 적응 성능 평가

Fewer Clarifications, Better Code: Benchmarking Cross-Session Personalized Ambiguity Adaptation in Coding Assistants

AI 기반 코딩 보조 시스템은 사용자의 의도를 실행 가능한 소프트웨어로 변환하는 데 점점 더 많이 활용되고 있지만, 코딩 요청에는 종종 모호성이 포함되어 있으며, 이러한 모호성은 작업 및 세션에 걸쳐 사용자별로 반복적으로 나타납니다. 기존의 모호성 해결 방법은 일반적으로 현재 코딩 세션 내에서 각 모호한 요청을 개별적으로 처리하며, 종종 추가적인 설명을 요구합니다. 그러나 동일 사용자의 이전 세션에서 해결된 기록이 새로운 세션에서 발생하는 반복적인 개인 맞춤형 모호성을 해결하는 데 활용될 수 있는지 여부는 아직 충분히 연구되지 않았습니다. 본 논문에서는 개인 맞춤형 모호성 적응을 새로운 과제로 정의하고, 사용자의 이전에 해결된 코딩 세션과 새로운 모호한 요청이 주어졌을 때, 시스템은 반복되는 모호성 패턴을 식별하고, 의도된 실행 가능한 솔루션을 생성하며, 설명을 최소화해야 합니다. 이러한 과제를 평가하기 위해, 우리는 개인 맞춤형 코딩의 모호성을 여섯 가지 메커니즘으로 특징짓고, 이 메커니즘들을 제어된 세 단계 생성 파이프라인을 사용하여 명확한 실행 가능한 작업에 주입하는 CAPA 데이터셋을 소개합니다. CAPA는 60명의 사용자와 6가지 유형의 모호성을 조합하여 구성된 60개의 균형 잡힌 사용자-모호성 셀로 이루어진 600개의 코딩 세션으로 구성되며, 이 중 300개가 평가용 데이터로 포함되어 있습니다. 우리는 12개의 최근 LLM을 사용하여 실행 성공률, 첫 번째 시도 성공률 및 완료까지의 단계 수를 기준으로 노출된 이전 기록이 없는 조건과 동일 사용자의 이전 기록이 있는 조건을 비교하여 성능을 평가했습니다. 분석 결과는 작업 난이도, 사용자 식별 정보, 그리고 메모리 기반의 이전 기록 활용 여부를 다룹니다. 또한, 추론 시에 가볍게 적용할 수 있는 동일 사용자 기록 게이팅 방법을 제안합니다. CAPA는 생성된 코드를 사용자의 의도와 더욱 정확하게 일치시키면서 반복적인 설명을 줄이는 장기적인 코딩 보조 시스템 개발을 위한 기반을 제공합니다.

AI-assisted coding increasingly translates informal user intent into executable software, yet coding requests often contain ambiguities that recur in user-specific ways across tasks and sessions. Existing disambiguation methods typically address each ambiguous request in isolation within the current coding session, often through eliciting additional clarification. However, whether resolved session history from the same user can serve as memory for resolving recurring personalized ambiguity in a newly opened session remains underexplored. We formulate personalized ambiguity adaptation as a new task: given a user's previously resolved coding sessions and a new ambiguous request, an assistant should identify the recurring ambiguity pattern, produce the intended executable solution, and minimize clarification. To benchmark this task, we introduce CAPA, which characterizes personalized coding ambiguity through six mechanisms and injects these mechanisms into unambiguous executable tasks using a controlled three-stage generation pipeline. CAPA contains 600 coding sessions across 60 balanced user--ambiguity cells, including 300 held-out evaluation sessions. We evaluate 12 recent LLMs under no-history and same-user-history conditions using executable success, first-turn success, and turns-to-completion. Our analyses examine task difficulty, user identity, and memory-based history use, and we further propose same-user history gating as a lightweight inference-time method. CAPA provides a foundation for developing long-term coding assistants that better align generated code with user intent while reducing repeated clarification.