고정점 흐름 기반 자기 조건부 플로우 맵 언어 모델

Self-conditioned Flow Map Language Models via Fixed-point Flows

자기 조건부는 연속적인 플로우 기반 언어 모델을 향상시키는 핵심 기술로, 모델은 자체 생성된 텍스트에 대한 노이즈 제거 추정치를 사용하여 텍스트를 디노이징하도록 학습합니다. 경험적으로 성공적이지만, 그 성능 향상 정도는 잘 이해되지 않았습니다. 또한, 플로우 맵 기반의 소량 단계 생성기가 주목받고 있으며, 이러한 모델에서 자기 조건부를 어떻게 활용할지는 불분명합니다. 본 논문에서는 자기 조건부가 있는 플로우 언어 모델이 학습된 디노이저의 성능을 향상시키는 고정점 반복 문제를 해결한다는 것을 보여줍니다. 우리는 이 관점을 사용하여 고정점 흐름(fixed-point flows)이라는 새로운 유형의 자기 조건부 플로우를 정의합니다. 여기서 첫 번째 차원은 플로우 프로세스를 나타내고, 두 번째는 고정점 반복을 나타냅니다. 우리는 고정점 흐름이 유효한 플로우 맵을 정의하며, 자기 조건부 플로우 모델에서 고정점 반복 및 플로우 프로세스 모두를 압축하여 추출할 수 있음을 보여줍니다. 구체적으로, 고정점 증류(fixed-point distillation)를 사용하여 고정점 반복을 압축하고, 플로우 맵 증류(flow map distillation)를 사용하여 플로우 프로세스를 압축합니다. 결과적으로 개발된 플로우 맵 언어 모델인 FMLM$^lat$는 OpenWebText 데이터셋에서 1단계 및 소량 단계 생성 작업 모두에서 최첨단 자기 조건부 모델 및 소량 단계 모델보다 뛰어난 성능을 보입니다. 코드: https://github.com/Ugness/self-conditioned-fmlm.

Self-conditioning is a core technique that enhances continuous flow-based language models, where the model learns to denoise generated text by conditioning on its own denoising estimate. While empirically successful, its performance improvements are poorly understood. Moreover, there is growing interest in the use of few-step generators based on flow maps, for which how to leverage self-conditioning is unclear. Here, we show that flow language models with self-conditioning solve a fixed-point iteration that bootstraps the performance of the learned denoiser. We use this viewpoint to formulate fixed-point flows, a two-dimensional class of self-conditioned flows, where the first dimension represents the flow process and the second represents the fixed-point iteration. We show that fixed-point flows define valid flow maps, and show that they can be distilled from self-conditioned flow models by compressing both fixed-point iterations and the flow process, the former with fixed-point distillation and the latter with flow map distillation. Our resulting flow map language model, FMLM$^\star$, outperforms state-of-the-art self-conditioned models and few-step models in one- and few-step generation on OpenWebText. Code is available at https://github.com/Ugness/self-conditioned-fmlm.