POTracker: 표준 규정 준수를 위한 대규모 언어 모델 최적화 기술 - 전력 공급 중단 보고서 생성

POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

최근의 대규모 언어 모델(LLM)은 일반적인 텍스트 생성에 능숙하지만, 엄격한 서식 및 구조 규칙을 따라야 하는 도메인 특화 데이터 생성에는 어려움이 있습니다. 질의 응답이나 번역과 같은 개방형 작업과는 달리, 도메인 특화 생성은 의미적으로 정확할 뿐만 아니라 기존 지침 및 표준을 준수해야 합니다. 본 연구에서는 미국 전역의 유틸리티 전력 공급 중단 보고서의 상호 운용성 문제를 다룹니다. 실제로 전력 공급 중단 보고서는 기계가 읽을 수 있는 형식(예: JSON 또는 XML)이어야 하며, 에너지 분야 규제 기관의 요구 사항을 엄격하게 준수해야 합니다. 이러한 문제를 해결하기 위해, 전력 공급 중단 보고서 생성을 위한 최적화된 LLM인 POTracker를 제안합니다. 우리는 제안하는 목적 함수를 사용하여 Qwen2.5-7B-Instruct 모델을 미세 조정했습니다. 주요 기여는 생성된 보고서와 실제 보고서 간의 텍스트 유사성뿐만 아니라 구조(태그) 유사성을 모두 고려하는 새로운 손실 함수인 POTrackerLoss입니다. 우리는 1,000개의 전력 공급 중단 보고서 데이터 세트를 사용하여 POTracker를 평가하고, 다섯 가지 잘 알려진 미세 조정 방법과 하나의 규칙 기반 XML 변환 방법을 비교했습니다. 결과는 POTracker가 다른 미세 조정 방식보다 우수한 성능을 보이며, 전체 정확도를 최대 51% 향상시키고 생성된 전력 공급 중단 보고서의 구조적 정확도를 86.47%까지 달성했음을 보여줍니다. 또한, 실제 표준 보고서의 품질을 평가하기 위해 인간 평가를 수행했으며, 해당 분야 전문가들은 생성된 보고서에 대해 평균 0~5점 척도에서 4.03점을 부여했습니다.

Recent large language models (LLMs) are good at general text generation, but it is still hard to use them for domain-specific data generation because the output must follow strict formatting and structural rules. Unlike open-ended tasks such as question answering or translation, domain-specific generation must be both semantically correct and compliant with existing guidelines and standards. In this work, we study the nationwide interoperability problem of utility power outage reports in the United States. In practice, outage reports need to be machine-readable (e.g., JSON or XML) and must strictly follow requirements from energy-sector regulatory bodies. To address this problem, we propose POTracker, an optimized LLM for power outage report generation. We fine-tune Qwen2.5-7B-Instruct using our proposed objective. The key contribution is a new loss function, POTrackerLoss, that considers both textual similarity and structural (tag) similarity between the generated report and the ground-truth report. We evaluate POTracker on a dataset of 1,000 power outage reports and compare it with five well-known fine-tuning methods and one rule-based XML conversion method. Results show that POTracker outperforms other fine-tuning approaches, improving overall accuracy by up to 51% and reaching 86.47% structural accuracy for generated power outage reports. In addition, we conduct a human study to assess the quality of the ground-truth standard reports, where domain experts assign the generated labels an average score of 4.03 on a 0--5 scale.