RoTRAG: 검색 증강 생성 기반 대화 악성 콘텐츠 탐지를 위한 경험 법칙 추론

RoTRAG: Rule of Thumb Reasoning for Conversation Harm Detection with Retrieval-Augmented Generation

다중 턴 대화에서 악성 콘텐츠를 탐지하려면 개별 발화가 아닌 전체 대화 맥락에 대한 추론이 필요합니다. 그러나 대부분의 기존 방법은 모델의 내부 파라미터 지식에 크게 의존하며, 외부 규범 원칙에 대한 명시적인 기반을 제공하지 않습니다. 이는 사회적으로 미묘한 맥락에서 일관성 없는 판단, 제한적인 해석 가능성, 그리고 턴(turn) 간의 중복적인 추론으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 LLM 기반 악성 콘텐츠 평가에 간결하게 작성된 인간의 도덕 규범, 즉 '경험 법칙(Rules of Thumb, RoTs)'을 통합하는 검색 증강 프레임워크인 RoTRAG를 제안합니다. RoTRAG는 각 턴(turn)에 대해 외부 코퍼스에서 관련 RoT를 검색하고, 이를 턴 레벨 추론 및 최종 심각도 분류를 위한 명시적인 규범 증거로 사용합니다. 효율성을 높이기 위해, 새로운 턴(turn)에 대해 검색 기반 추론이 필요한지, 아니면 기존 맥락을 재사용할 수 있는지 결정하는 경량화된 이진 라우팅 분류기를 추가로 도입했습니다. ProsocialDialog 및 Safety Reasoning Multi Turn Dialogue 데이터셋에 대한 실험 결과, RoTRAG는 경쟁 모델 대비 악성 콘텐츠 분류 및 심각도 추정 모두에서 일관되게 성능을 향상시켰으며, 벤치마크 데이터셋 전반에 걸쳐 F1 점수가 평균 40% 향상되고, 분포 오차가 평균 8.4% 감소했습니다. 또한, RoTRAG는 성능 저하 없이 불필요한 계산을 줄였습니다.

Detecting harmful content in multi turn dialogue requires reasoning over the full conversational context rather than isolated utterances. However, most existing methods rely mainly on models internal parametric knowledge, without explicit grounding in external normative principles. This often leads to inconsistent judgments in socially nuanced contexts, limited interpretability, and redundant reasoning across turns. To address this, we propose RoTRAG, a retrieval augmented framework that incorporates concise human written moral norms, called Rules of Thumb (RoTs), into LLM based harm assessment. For each turn, RoTRAG retrieves relevant RoTs from an external corpus and uses them as explicit normative evidence for turn level reasoning and final severity classification. To improve efficiency, we further introduce a lightweight binary routing classifier that decides whether a new turn requires retrieval grounded reasoning or can reuse existing context. Experiments on ProsocialDialog and Safety Reasoning Multi Turn Dialogue show that RoTRAG consistently improves both harm classification and severity estimation over competitive baselines, with an average relative gain of around 40% in F1 across benchmark datasets and an average relative reduction of 8.4% in distributional error, while reducing redundant computation without sacrificing performance.