사용에서 감시로: 인지 모델이 AI 작문 도우미 사용자의 행동과 결과물에 미치는 영향

From Use to Oversight: How Mental Models Influence User Behavior and Output in AI Writing Assistants

인공지능 기반 작문 도우미는 널리 사용되고 있지만, 사용자의 인지 모델이 이러한 도구의 사용에 어떤 영향을 미치는지에 대한 연구는 아직 부족합니다. 본 연구에서는 기능적 인지 모델(시스템의 기능과 관련된 모델)과 구조적 인지 모델(시스템의 작동 방식과 관련된 모델)을 살펴보고, 이러한 모델이 사용자의 제어 행동(작성 과정에서 AI의 제안을 요청, 수락 또는 수정하는 방식)과 작문 결과물에 미치는 영향을 분석합니다. 참가자($N = 48$)에게 시스템에 대한 다양한 설명을 제공하여 특정 인지 모델을 유도한 후, 문법 오류를 포함하는 미리 설정된 제안을 제공하는 작문 도우미를 사용하여 자기소개서 작성 과제를 수행하도록 했습니다. 이를 통해 인지 모델이 참가자의 비판적 검토 능력에 영향을 미치는지 확인했습니다. 연구 결과, 구조적 인지 모델 그룹의 참가자들은 시스템에 대한 이해도가 더 높았지만, 이는 역효과를 일으킬 수 있습니다. 이러한 참가자들은 시스템의 사용성을 더 높게 평가했지만, 동시에 문법 오류가 더 많은 자기소개서를 작성했습니다. 이는 시스템에 대한 이해, 신뢰, 그리고 오류가 발생하기 쉬운 AI 출력에 대한 사용자의 감시라는 복잡한 관계를 보여줍니다.

AI-based writing assistants are ubiquitous, yet little is known about how users' mental models shape their use. We examine two types of mental models -- functional or related to what the system does, and structural or related to how the system works -- and how they affect control behavior -- how users request, accept, or edit AI suggestions as they write -- and writing outcomes. We primed participants ($N = 48$) with different system descriptions to induce these mental models before asking them to complete a cover letter writing task using a writing assistant that occasionally offered preconfigured ungrammatical suggestions to test whether the mental models affected participants' critical oversight. We find that while participants in the structural mental model condition demonstrate a better understanding of the system, this can have a backfiring effect: while these participants judged the system as more usable, they also produced letters with more grammatical errors, highlighting a complex relationship between system understanding, trust, and control in contexts that require user oversight of error-prone AI outputs.