해양 사고 원인 분석을 위한 다중 필드 하이브리드 검색 증강 생성 모델

Multi-Field Hybrid Retrieval-Augmented Generation for Maritime Accident Root Cause Analysis

해양 사고 판정 보고서에는 원인 분석(RCA)에 중요한 법원 결정 사항이 포함되어 있지만, 수십 년간의 기록에서 관련 선례를 검색하고 일관성 있는 보고서를 작성하는 것은 노동 집약적인 작업입니다. 본 논문에서는 자동화된 해양 RCA를 위한 다중 필드 하이브리드 검색 증강 생성(RAG) 프레임워크를 제안합니다. 이 프레임워크는 1971년부터 2025년까지의 한국해사안전법원(KMST) 보고서 13,329건으로 구성된 포괄적인 데이터 세트를 활용합니다. 우리는 원시 판정 결과를 "사고 카드"라는 구조화된 지식 기반으로 변환하고 요약, 원인 및 결정의 세 가지 필드를 색인하며, 계층적 L1/L2 원인 분류 체계를 사용합니다. 우리의 검색 전략은 Reciprocal Rank Fusion (RRF)을 통해 희소 검색과 밀집 검색을 결합한 필드 인식 하이브리드 접근 방식을 사용합니다. 대규모 전문가 관련성 레이블이 부족하기 때문에, 메타데이터에서 파생된 간접적인 관련성 점수를 기반으로 ceiling-normalized recall 및 nDCG를 사용하여 검색 성능을 평가했습니다. 실험 결과는 제안하는 검색 방법이 기존 방법보다 훨씬 우수한 성능을 보이며, NormRecall@100 값이 0.18에서 0.55로 향상되었음을 보여줍니다. 또한, 검색된 선례를 기반으로 생성기를 활용하면 LLM만 사용하는 기준 모델에 비해 RCA 생성 품질이 향상되어 LLM 평가 점수가 3.34에서 3.72로 증가했습니다. 이러한 결과는 필드 인식 RAG가 더 빠른 선례 검색 및 보다 일관되고 증거 기반의 RCA 작성 기능을 통해 해양 안전 조사 워크플로우를 크게 간소화할 수 있음을 시사합니다.

Maritime accident adjudication reports contain critical tribunal findings for root cause analysis (RCA), yet retrieving relevant precedents and drafting consistent reports from decades of records remains labor-intensive. This paper proposes a multi-field hybrid retrieval-augmented generation (RAG) framework for automated maritime RCA, utilizing a comprehensive dataset of 13,329 Korea Maritime Safety Tribunal (KMST) reports (1971-2025). We transform raw adjudications into a structured knowledge base of "incident cards", indexing three distinct fields-Summary, Causes, and Disposition-alongside a hierarchical L1/L2 cause taxonomy. Our retrieval strategy employs a field-aware hybrid approach, fusing sparse and dense rankings via Reciprocal Rank Fusion (RRF). Given the lack of large-scale expert relevance labels, we evaluate retrieval performance using ceiling-normalized recall and nDCG based on a metadata-derived proxy relevance score. Experimental results demonstrate that our proposed retrieval significantly outperforms baseline methods, improving NormRecall@100 from 0.18 to 0.55. Furthermore, grounding the generator on the retrieved precedents enhances RCA generation quality over an LLM-only baseline, increasing the LLM-as-a-judge score from 3.34 to 3.72. These findings suggest that field-aware RAG can substantially streamline maritime safety investigation workflows by enabling faster precedent search and more consistent, evidence-based RCA drafting.