$\mathcal{S}^2$IT: 대규모 언어 모델의 관점 감성 4중 예측을 위한 단계별 구문 통합 튜닝

$\mathcal{S}^2$IT: Stepwise Syntax Integration Tuning for Large Language Models in Aspect Sentiment Quad Prediction

관점 감성 4중 예측(ASQP)은 대규모 언어 모델(LLM)의 강력한 의미 이해 및 생성 능력에 힘입어 상당한 발전을 이루었습니다. 그러나 이전의 추출 기반 방식에서 구문 구조 정보의 효과는 입증되었지만, LLM의 제한적인 추론 능력으로 인해 생성 기반 방식에서는 구문 구조 정보가 충분히 활용되지 못하고 있습니다. 본 논문에서는 단계적으로 구문 구조 지식을 LLM에 통합하는 새로운 프레임워크인 S^2IT를 제안합니다. 학습 과정은 세 단계로 나뉩니다. S^2IT는 4중 생성 작업을 두 단계로 분해합니다: 1) 전역 구문 기반 추출 및 2) 지역 구문 기반 분류, 이를 통해 전역 및 지역 구문 구조 정보를 모두 통합합니다. 마지막으로, 세분화된 구조 튜닝은 모델이 요소 연결 예측 및 노드 분류를 통해 구문 구조를 더 잘 이해하도록 합니다. 실험 결과, S^2IT는 여러 데이터 세트에서 최첨단 성능을 크게 향상시키는 것으로 나타났습니다. 저희의 구현 코드는 https://github.com/DMIRLAB-Group/S2IT 에서 공개될 예정입니다.

Aspect Sentiment Quad Prediction (ASQP) has seen significant advancements, largely driven by the powerful semantic understanding and generative capabilities of large language models (LLMs). However, while syntactic structure information has been proven effective in previous extractive paradigms, it remains underutilized in the generative paradigm of LLMs due to their limited reasoning capabilities. In this paper, we propose S^2IT, a novel Stepwise Syntax Integration Tuning framework that progressively integrates syntactic structure knowledge into LLMs through a multi-step tuning process. The training process is divided into three steps. S^2IT decomposes the quadruple generation task into two stages: 1) Global Syntax-guided Extraction and 2) Local Syntax-guided Classification, integrating both global and local syntactic structure information. Finally, Fine-grained Structural Tuning enhances the model's understanding of syntactic structures through the prediction of element links and node classification. Experiments demonstrate that S^2IT significantly improves state-of-the-art performance across multiple datasets. Our implementation will be open-sourced at https://github.com/DMIRLAB-Group/S2IT.