비정형 고객 리뷰에서 실행 가능한 제안 추출을 위한 하이브리드 지도 학습-LLM 파이프라인

A Hybrid Supervised-LLM Pipeline for Actionable Suggestion Mining in Unstructured Customer Reviews

고객 리뷰에서 실행 가능한 제안을 추출하는 것은 운영 의사 결정에 필수적이지만, 이러한 정보는 종종 다양한 의도가 혼합된 비정형 텍스트 내에 포함되어 있습니다. 기존 방식은 제안이 포함된 문장을 분류하거나, 상위 수준의 요약을 생성하는 데 초점을 맞추지만, 기업이 필요로 하는 정확한 개선 지침을 명확하게 추출하는 경우는 드뭅니다. 본 연구에서는 높은 재현율을 가진 RoBERTa 분류기를 사용하여 가짜 음성(false negative)을 줄이고, 정교하게 튜닝된 LLM을 결합하여 제안 추출, 분류, 클러스터링 및 요약 작업을 수행하는 하이브리드 파이프라인을 평가했습니다. 실제 호텔 및 식품 관련 데이터 세트를 사용하여 하이브리드 시스템이 프롬프트 기반, 규칙 기반, 분류기 기반의 기존 방식보다 추출 정확도와 클러스터 일관성 측면에서 우수한 성능을 보였습니다. 인간 평가 결과, 생성된 제안 및 요약이 명확하고, 정확하며, 이해하기 쉬운 것으로 확인되었습니다. 전반적으로, 본 연구 결과는 하이브리드 추론 아키텍처가 세분화된 실행 가능한 제안 추출에서 의미 있는 개선을 가져올 수 있음을 보여주며, 동시에 도메인 적응 및 효율적인 로컬 배포에 대한 과제를 강조합니다.

Extracting actionable suggestions from customer reviews is essential for operational decision-making, yet these directives are often embedded within mixed-intent, unstructured text. Existing approaches either classify suggestion-bearing sentences or generate high-level summaries, but rarely isolate the precise improvement instructions businesses need. We evaluate a hybrid pipeline combining a high-recall RoBERTa classifier trained with a precision-recall surrogate to reduce unrecoverable false negatives with a controlled, instruction-tuned LLM for suggestion extraction, categorization, clustering, and summarization. Across real-world hospitality and food datasets, the hybrid system outperforms prompt-only, rule-based, and classifier-only baselines in extraction accuracy and cluster coherence. Human evaluations further confirm that the resulting suggestions and summaries are clear, faithful, and interpretable. Overall, our results show that hybrid reasoning architectures achieve meaningful improvements fine-grained actionable suggestion mining while highlighting challenges in domain adaptation and efficient local deployment.