Co-Refine: 질적 분석을 지원하는 AI 기반 도구

Co-Refine: AI-Powered Tool Supporting Qualitative Analysis

질적 코딩은 연구자가 텍스트 데이터에 코드를 적용하는 방식으로 이루어집니다. 코딩 작업이 대규모 데이터셋에서 진행될수록, 코드의 해석이 종종 변동(시간적 드리프트)되어 분석의 신뢰성을 저해합니다. 기존의 컴퓨터 지원 질적 데이터 분석(CAQDAS) 도구는 데이터 관리를 지원하지만, 이러한 드리프트를 실시간으로 감지하는 워크플로우는 제공하지 않습니다. 본 논문에서는 Co-Refine이라는 AI 기반 질적 코딩 플랫폼을 소개합니다. Co-Refine은 연구자의 워크플로우를 방해하지 않고, 코딩의 일관성에 대한 지속적인 피드백을 제공합니다. 이 시스템은 세 단계로 구성된 감사 파이프라인을 사용합니다. 1단계에서는 수학적 일관성을 위한 결정론적 임베딩 기반 지표를 계산합니다. 2단계에서는 LLM의 판단을 결정론적 점수 범위 내(±0.15)로 제한합니다. 3단계에서는 이전 패턴으로부터 코드 정의를 생성하여 심층적인 피드백 루프를 구축합니다. Co-Refine은 결정론적 점수를 통해 LLM의 출력을 효과적으로 제어하여 질적 분석을 위한 신뢰할 수 있는 실시간 감사 신호를 생성할 수 있음을 보여줍니다.

Qualitative coding relies on a researcher's application of codes to textual data. As coding proceeds across large datasets, interpretations of codes often shift (temporal drift), reducing the credibility of the analysis. Existing Computer-Assisted Qualitative Data Analysis (CAQDAS) tools provide support for data management but offer no workflow for real-time detection of these drifts. We present Co-Refine, an AI-augmented qualitative coding platform that delivers continuous, grounded feedback on coding consistency without disrupting the researcher's workflow. The system employs a three-stage audit pipeline: Stage 1 computes deterministic embedding-based metrics for mathematical consistency; Stage 2 grounds LLM verdicts within $\pm0.15$ of the deterministic scores; and Stage 3 produces code definitions from previous patterns to create a deepening feedback loop. Co-Refine demonstrates that deterministic scoring can effectively constrain LLM outputs to produce reliable, real-time audit signals for qualitative analysis.