의미론적 흐름 정규화: LLM이 다양하면서도 일관된 응답을 생성하도록 가르치는 방법

Semantic Flow Regularization: Teaching LLMs to Generate Diverse Yet Coherent Responses

대규모 언어 모델(LLM)이 특정 페르소나 또는 어조에 맞춰 응답을 생성하도록 미세 조정될 때, 출력의 다양성이 크게 제한되는 현상이 발생합니다. 우리는 이러한 현상을 '스타일 붕괴'(Cross-Style Collapse)라고 부릅니다. 이 붕괴는 공유된 표현 방식 하에서 다양한 내용을 이어 쓰도록 유도하는 대신, 교차 엔트로피 목표 함수가 다양성을 억제하기 때문입니다. 우리는 의미론적 흐름 정규화(Semantic Flow Regularization, SFR)라는 가벼운 추가적인 목표를 제안합니다. SFR은 조건부 흐름 매칭을 통해 미래의 문장 단편에 대한 연속적인 문장 인코더 임베딩을 사용하여 핵심 모델을 감독합니다. 확률적 흐름 소스는 본질적으로 다중 모드를 유지하며, 흐름 매칭 헤드는 추론 시 제거되므로 배포 비용이 전혀 발생하지 않습니다. 대규모 산업 대화 데이터셋(Qwen3-32B, 9개의 페르소나)에서 SFR은 기존의 지도 학습 방식(SFT)보다 출력 다양성, 스타일 충실도 및 응답 품질을 향상시킵니다. 또한, 공개된 LiveCodeBench-v5 데이터셋(Qwen2.5-Coder-7B-Instruct)에서도 SFR이 일관되게 pass@k 값을 개선하여, 특정 스타일 대화 외에도 일반적인 성능 향상을 보임을 확인했습니다. MBPP 데이터셋에 대한 통제된 비교 실험 결과, 다중 토큰 예측(Multi-Token Prediction)은 SFR의 특별한 경우로 해석될 수 있습니다.

When large language models are fine-tuned to generate persona- or tone-conditioned responses, their output diversity is severely limited--a failure we term Cross-Style Collapse. We trace this collapse to the cross-entropy objective, which under shared representations tends to suppress diverse continuations. We propose Semantic Flow Regularization (SFR), a lightweight auxiliary objective that supervises the backbone with continuous sentence-encoder embeddings of future segments via conditional flow matching. The stochastic flow source preserves multi-modality by construction; the flow-matching head is discarded at inference, adding zero deployment cost. On a large-scale industrial dialogue dataset (Qwen3-32B, 9 personas), SFR improves output diversity, style fidelity, and response quality over SFT. We further validate on the public LiveCodeBench-v5 (Qwen2.5-Coder-7B-Instruct), where SFR consistently improves pass@k, confirming generality beyond stylized dialogue. A controlled comparison on MBPP reveals Multi-Token Prediction to be a degenerate special case of SFR.