단순한 '수단': 투명하게 설계된 AI 데이터 과학 프로세스를 통한 추론 지원

More Than "Means to an End": Supporting Reasoning with Transparently Designed AI Data Science Processes

생성형 인공지능(AI) 도구는 이제 사용자의 전문성에 관계없이 복잡한 데이터 과학 작업을 수행하도록 지원할 수 있습니다. 이러한 도구는 더 많은 사람들이 데이터를 활용하는 데 큰 잠재력을 제공하지만, 전체적인 접근 방식은 사용자가 대안적인 방법을 평가하고 문제를 재구성하는 것을 지원하지 못합니다. 이는 고위험 영역에서 개방형 문제를 해결하는 데 매우 중요합니다. 본 논문에서는 의료 환경을 위해 설계된 두 가지 AI 데이터 과학 시스템을 살펴보고, 이러한 시스템이 사고 도구로서 어떻게 작동하는지 분석합니다. 연구 결과, 이러한 시스템의 성공은 가독 가능한 쿼리 언어, 개념 정의 또는 입력-출력 예제와 같은 의도적으로 설계된 중간 결과물을 중심으로 AI 워크플로우를 구축함으로써 달성되었습니다. AI 프로세스의 다른 부분에서 투명성이 부족하더라도, 이러한 중간 결과물은 사용자가 중요한 분석적 선택에 대해 추론하고, 초기 질문을 개선하며, 고유한 지식을 기여하는 데 도움이 되었습니다. 우리는 HCI 커뮤니티에 효과적인 데이터 과학적 사고를 촉진하기 위해 중간 결과물이 언제, 어떻게 설계되어야 하는지에 대해 고민할 것을 제안합니다.

Generative artificial intelligence (AI) tools can now help people perform complex data science tasks regardless of their expertise. While these tools have great potential to help more people work with data, their end-to-end approach does not support users in evaluating alternative approaches and reformulating problems, both critical to solving open-ended tasks in high-stakes domains. In this paper, we reflect on two AI data science systems designed for the medical setting and how they function as tools for thought. We find that success in these systems was driven by constructing AI workflows around intentionally-designed intermediate artifacts, such as readable query languages, concept definitions, or input-output examples. Despite opaqueness in other parts of the AI process, these intermediates helped users reason about important analytical choices, refine their initial questions, and contribute their unique knowledge. We invite the HCI community to consider when and how intermediate artifacts should be designed to promote effective data science thinking.