LLM의 공간 상황 인식 분야 적용을 위한 인지 계층 기반 데이터 합성

Cognitively Layered Data Synthesis for Domain Adaptation of LLMs to Space Situational Awareness

대규모 언어 모델(LLM)은 일반적인 작업에서 뛰어난 성능을 보이지만, 임무 체인과의 구조적 불일치, 고차원적 인지적 감독 부족, 그리고 데이터 품질 기준과 엔지니어링 사양 간의 불일치로 인해 우주 상황 인식(SSA)과 같은 복잡한 엔지니어링 분야에 적용하는 것은 여전히 어려운 과제입니다. 핵심적인 문제는 고품질의 지도 학습(SFT) 데이터셋을 구축하는 것입니다. 이를 위해, 우리는 불완전한 지식 범위, 피상적인 인지 깊이, 그리고 제한적인 품질 제어 가능성을 해결하기 위한 프레임워크인 BD-FDG (Bloom's Taxonomy 기반 도메인 특화 미세 조정 데이터 생성)를 제안합니다. 이 프레임워크는 구조화된 지식 조직, 인지 계층 기반 질문 모델링, 그리고 자동화된 품질 관리를 통해 이러한 문제를 해결합니다. BD-FDG는 지식 트리를 사용하여 구조화된 코퍼스 범위를 보장하고, 기억(Remember)에서 창조(Create)까지 9가지 범주와 6가지 인지 수준을 포괄하는 질문 생성 방식을 설계하여 연속적인 난이도 기울기를 가진 샘플을 생성합니다. 또한, 다차원적인 평가 파이프라인을 적용하여 도메인 특유의 엄격성과 일관성을 유지합니다. BD-FDG를 사용하여 약 23만 개의 샘플로 구성된 SSA-SFT 도메인 데이터셋을 구축하고, Qwen3-8B를 미세 조정하여 SSA-LLM-8B를 얻었습니다. 실험 결과, SSA-LLM-8B는 도메인 테스트 세트에서 상대적인 BLEU-1 성능이 각각 144% (no-think) 및 176% (think) 향상되었으며, 아레나 비교에서 기준 모델보다 82.21%의 승률을 보였습니다. 또한, 일반적인 벤치마크 성능(MMLU-Pro, MATH-500)은 크게 유지되었습니다. 이러한 결과는 인지 계층에 기반한 SFT 데이터 구축이 복잡한 엔지니어링 분야에서 효과적인 패러다임임을 입증하며, 도메인 특화 LLM 적용을 위한 전이 가능한 프레임워크를 제공합니다.

Large language models (LLMs) demonstrate exceptional performance on general-purpose tasks. however, transferring them to complex engineering domains such as space situational awareness (SSA) remains challenging owing to insufficient structural alignment with mission chains, the absence of higher-order cognitive supervision, and poor correspondence between data quality criteria and engineering specifications. The core bottleneck is the construction of high-quality supervised fine-tuning (SFT) datasets. To this end, we propose BD-FDG (Bloom's Taxonomy-based Domain-specific Fine-tuning Data Generation), a framework that addresses incomplete knowledge coverage, shallow cognitive depth, and limited quality controllability through three mechanisms: structured knowledge organization, cognitively layered question modeling, and automated quality control. The framework uses a knowledge tree to ensure structured corpus coverage, designs a question generation scheme spanning nine categories and six cognitive levels from Remember to Create to produce samples with a continuous difficulty gradient, and applies a multidimensional scoring pipeline to enforce domain rigor and consistency. Using BD-FDG, we construct SSA-SFT, a domain dataset of approximately 230K samples, and fine-tune Qwen3-8B to obtain SSA-LLM-8B. Experiments show that SSA-LLM-8B achieves relative BLEU-1 improvements of 144\% (no-think) and 176\% (think) on the domain test set and a win rate of 82.21\% over the baseline in arena comparisons, while largely preserving general benchmark performance (MMLU-Pro, MATH-500). These results validate SFT data construction driven by cognitive layering as an effective paradigm for complex engineering domains and provide a transferable framework for domain-specific LLM adaptation.