LoRA 전문가 혼합을 활용한 리뷰 기반의 실행 가능한 조언 생성: 문제 추출 및 비즈니스 제언을 위한 2단계 LLM 파이프라인

Actionable Advice from Reviews via Mixture of LoRA Experts: A Two-LLM Pipeline for Issue Extraction and Business Recommendations

고객 리뷰는 서비스 실패와 사용자 기대에 대한 상세하고 도메인 특화된 신호를 포함하고 있지만, 이러한 비정형 피드백을 실행 가능한 비즈니스 의사결정으로 변환하는 것은 여전히 어렵습니다. 본 연구는 리뷰 텍스트에 기반하여 구체적이고 구현 가능한 제언을 생성하는 '리뷰-투-액션(review-to-action)' 생성을 다룹니다. 우리는 모듈식 2단계 LLM 프레임워크를 제안하는데, 여기서 '이슈 모델'은 주요 문제를 추출하여 대략적인 주제를 할당하고, '조언 모델'은 추출된 문제 표현을 조건으로 하여 목표 지향적인 운영상의 해결책을 생성합니다. 비용이 많이 드는 전체 미세 조정(full fine-tuning) 없이 전문화를 가능하게 하기 위해, 우리는 LoRA 전문가 혼합 전략을 사용하여 조언 모델을 조정합니다. 여러 개의 저랭크 어댑터(low-rank adapter)를 훈련시키고, 경량 게이팅 메커니즘이 추론 시 토큰 수준에서 전문가를 혼합하여 다양한 문제 유형에 걸쳐 상호 보완적인 전문 지식을 결합합니다. 우리는 훈련을 지도하기 위해 Yelp 리뷰(항공사 및 레스토랑)로부터 합성된 '리뷰-문제-조언' 삼중항 데이터를 구축하고, 실행 가능성, 구체성, 실현 가능성, 기대 효과, 참신성, 비중복성, 편향성, 명확성을 포함하는 8가지 차원의 운영 루브릭을 사용하여 제언을 평가합니다. 두 도메인 모두에서 우리의 접근 방식은 프롬프팅 전용 및 단일 어댑터 베이스라인보다 일관되게 우수한 성능을 보였으며, 효율성과 품질 간의 유리한 균형을 유지하면서 더 높은 실행 가능성과 구체성을 달성했습니다.

Customer reviews contain detailed, domain specific signals about service failures and user expectations, but converting this unstructured feedback into actionable business decisions remains difficult. We study review-to-action generation: producing concrete, implementable recommendations grounded in review text. We propose a modular two-LLM framework in which an Issue model extracts salient issues and assigns coarse themes, and an Advice model generates targeted operational fixes conditioned on the extracted issue representation. To enable specialization without expensive full fine-tuning, we adapt the Advice model using a mixture of LoRA experts strategy: multiple low-rank adapters are trained and a lightweight gating mechanism performs token-level expert mixing at inference, combining complementary expertise across issue types. We construct synthetic review-issue-advice triples from Yelp reviews (airlines and restaurants) to supervise training, and evaluate recommendations using an eight dimension operational rubric spanning actionability, specificity, feasibility, expected impact, novelty, non-redundancy, bias, and clarity. Across both domains, our approach consistently outperforms prompting-only and single-adapter baselines, yielding higher actionability and specificity while retaining favorable efficiency-quality trade-offs.