U-Define: LLM 기반 계획 시스템에서 사용자 워크플로우 설계: 강제 조건 및 유연 조건 고려

U-Define: Designing User Workflows for Hard and Soft Constraints in LLM-Based Planning

LLM은 점점 더 많은 사용자가 작업을 계획하는 데 활용되고 있지만, LLM의 투명성 부족은 사용자가 신뢰성을 확보하고 제어하는 능력을 제한합니다. 최근 시스템에서는 검증 기술이 도입되었지만, 사용자가 이러한 엄격한 제약을 어떻게 효과적으로 적용하여 의도를 표현하거나 실제 환경의 변화에 적응할 수 있는지에 대한 명확성은 여전히 부족합니다. 예를 들어, 기존 연구에서는 'hard' 제약만 사용하는 것이 지나치게 엄격하며, 수치적 유연성 가중치는 사용자에게 혼란을 야기한다는 사실이 밝혀졌습니다. 본 연구에서는 상호 작용 워크플로우가 사용자가 LLM이 생성한 계획을 안내하기 위해 제약을 적용하는 데 어떻게 더 잘 도움이 될 수 있는지 조사합니다. 특히, 엄격성을 고수준의 유형(즉, 'hard' 및 'soft')으로 추상화하고, 이에 상응하는 다양한 검증 메커니즘을 결합하는 것이 사용자가 의도를 더 안정적으로 표현하고 조정하는 데 도움이 되는지 분석합니다. 본 연구에서는 사용자가 자연어로 제약을 정의하고, 이를 반드시 준수해야 하는 'hard' 규칙 또는 유연성을 허용하는 'soft' 선호도로 분류할 수 있는 시스템인 U-Define을 제시합니다. U-Define은 'hard' 제약에 대해서는 형식적 모델 검증을, 'soft' 제약에 대해서는 LLM을 활용한 평가 방법을 통해 이러한 유형을 검증합니다. 기술적 평가와 일반 사용자 및 전문가를 대상으로 한 사용자 연구를 통해, 사용자가 정의한 제약 유형이 인지된 유용성, 성능 및 만족도를 향상시키면서도 사용성을 유지한다는 것을 확인했습니다. 이러한 결과는 유연하면서도 신뢰할 수 있는 제약 기반 워크플로우를 설계하는 데 유용한 통찰력을 제공합니다.

LLMs are increasingly used for end-user task planning, yet their black-box nature limits users' ability to ensure reliability and control. While recent systems incorporate verification techniques, it remains unclear how users can effectively apply such rigid constraints to represent intent or adapt to real-world variability. For example, prior work finds that hard-only constraints are too rigid, and numeric flexibility weights confuse users. We investigate how interaction workflows can better support users in applying constraints to guide LLM-generated plans, examining whether abstracting strictness into high-level types (i.e., hard and soft) paired with distinct verification mechanisms helps users more reliably express and align intent. We present U-Define, a system that lets users define constraints in natural language and categorize them as either hard rules that must not be violated or soft preferences that allow flexibility. U-Define verifies these types through complementary methods: formal model checking for hard constraints and LLM-as-judge evaluation for soft ones. Through a technical evaluation and user studies with general and expert participants, we find that user-defined constraint types improve perceived usefulness, performance, and satisfaction while maintaining usability. These findings provide insights for designing flexible yet reliable constraint-based workflows.