LIA: 대규모 언어 모델의 지도 학습 기반 미세 조정 기술을 활용한 자동 이슈 할당

LIA: Supervised Fine-Tuning of Large Language Models for Automatic Issue Assignment

이슈 할당은 소프트웨어 유지보수의 핵심 과정으로, 새로운 이슈 보고서를 검증하고 적합한 개발자에게 할당하는 작업입니다. 그러나 수동으로 이루어지는 이슈 할당은 종종 일관성이 부족하고 오류가 발생하기 쉬우며, 특히 매달 수천 건의 새로운 이슈가 발생하는 대규모 오픈 소스 프로젝트에서 더욱 심각한 문제가 됩니다. 기존의 자동화된 접근 방식은 유망한 결과를 보여주었지만, 많은 방법이 프로젝트별로 수집된 대량의 학습 데이터나 관계 정보를 필요로 하는데, 이러한 데이터는 종종 부족하고 노이즈가 많아 효과가 제한적입니다. 이러한 문제점을 해결하기 위해, 본 연구에서는 LLM(대규모 언어 모델) 기반의 이슈 할당 시스템인 LIA를 제안합니다. LIA는 지도 학습을 통해 DeepSeek-R1-Distill-Llama-8B 모델을 특정 작업에 맞게 미세 조정하여 자동 이슈 할당을 수행합니다. LIA는 LLM이 자연어와 소프트웨어 관련 텍스트에 대해 사전 학습된 의미론적 이해 능력을 활용하여, 이슈 제목과 설명을 기반으로 개발자 추천 목록을 생성합니다. 이 순위는 모델이 학습한 과거 이슈-개발자 할당 패턴을 기반으로 하며, 이를 통해 새로운 이슈를 처리할 가능성이 가장 높은 개발자를 추론합니다. 광범위한 평가를 통해 LIA가 사전 학습된 기본 모델 및 최첨단 기준 성능보다 상당한 성능 향상을 보여준다는 것을 확인했습니다. LIA는 DeepSeek-R1-Distill-Llama-8B 사전 학습 모델에 비해 최대 +187.8% 더 높은 Hit@1 성능을 달성했으며, 네 가지 주요 이슈 할당 방법보다 최대 +211.2% 더 높은 Hit@1 점수를 기록했습니다. 이러한 결과는 소프트웨어 유지보수 작업에 대한 도메인 특화 LLM의 효과를 강조하며, LIA를 실용적이고 고성능의 이슈 할당 솔루션으로 자리매김합니다.

Issue assignment is a critical process in software maintenance, where new issue reports are validated and assigned to suitable developers. However, manual issue assignment is often inconsistent and error-prone, especially in large open-source projects where thousands of new issues are reported monthly. Existing automated approaches have shown promise, but many rely heavily on large volumes of project-specific training data or relational information that is often sparse and noisy, which limits their effectiveness. To address these challenges, we propose LIA (LLM-based Issue Assignment), which employs supervised fine-tuning to adapt an LLM, DeepSeek-R1-Distill-Llama-8B in this work, for automatic issue assignment. By leveraging the LLM's pretrained semantic understanding of natural language and software-related text, LIA learns to generate ranked developer recommendations directly from issue titles and descriptions. The ranking is based on the model's learned understanding of historical issue-to-developer assignments, using patterns from past tasks to infer which developers are most likely to handle new issues. Through comprehensive evaluation, we show that LIA delivers substantial improvements over both its base pretrained model and state-of-the-art baselines. It achieves up to +187.8% higher Hit@1 compared to the DeepSeek-R1-Distill-Llama-8B pretrained base model, and outperforms four leading issue assignment methods by as much as +211.2% in Hit@1 score. These results highlight the effectiveness of domain-adapted LLMs for software maintenance tasks and establish LIA as a practical, high-performing solution for issue assignment.