Flow of Spans: GFlowNet을 통한 동적 스팬 어휘로의 언어 모델 일반화

Flow of Spans: Generalizing Language Models to Dynamic Span-Vocabulary via GFlowNets

표준 자회귀 언어 모델은 고정된 어휘 집합에서 토큰 단위로 텍스트를 생성하며, 토큰 샘플링을 하나의 행동으로 볼 때 트리 구조의 상태 공간을 유도하여 유연성과 표현력을 제한한다. 최근 연구에서는 검색된 텍스트 스팬을 샘플링하여 동적 어휘를 도입했으나, 동일한 문장이 다양한 길이의 스팬으로 구성될 수 있다는 점을 간과하여 방향성 비순환 그래프(DAG) 상태 공간에 대한 명시적 모델링이 부족했다. 이는 구성 경로의 탐색을 제한하고 선택된 경로에 편향되는 결과를 초래한다. 생성 흐름 네트워크(GFlowNets)는 상태 공간, 특히 DAG 구조를 가진 공간을 효율적으로 탐색하고 일반화하는 데 강력하다. 그러나 기존의 GFlowNet 기반 언어 모델은 토큰 수준에서 작동하며 트리 구조 공간에 국한되어 있어 그 잠재력이 제한적이었다. 본 연구에서는 스팬 생성을 위한 원칙적인 GFlowNet 프레임워크인 Flow of SpanS (FoSS)를 제안한다. FoSS는 검색된 텍스트를 유연하게 분할하여 동적 스팬 어휘를 구축하고 DAG 구조의 상태 공간을 보장함으로써, GFlowNet이 다양한 구성 경로를 탐색하고 일반화 성능을 개선할 수 있도록 한다. 특화된 보상 모델을 통해 FoSS는 다양하고 고품질의 텍스트를 생성한다. 실증적으로 FoSS는 텍스트 생성에서 Transformer 대비 MAUVE 점수를 최대 12.5% 향상시켰으며, 지식 집약적 작업에서 3.5%의 성능 향상을 달성하여 최신 방법들을 일관되게 능가했다. 또한 확장성 실험을 통해 FoSS가 더 큰 모델, 더 많은 데이터, 더 풍부한 검색 코퍼스의 이점을 누리며 강력한 베이스라인 모델들에 대한 우위를 유지함을 입증했다.

Standard autoregressive language models generate text token-by-token from a fixed vocabulary, inducing a tree-structured state space when viewing token sampling as an action, which limits flexibility and expressiveness. Recent work introduces dynamic vocabulary by sampling retrieved text spans but overlooks that the same sentence can be composed of spans of varying lengths, lacking explicit modeling of the directed acyclic graph (DAG) state space. This leads to restricted exploration of compositional paths and is biased toward the chosen path. Generative Flow Networks (GFlowNets) are powerful for efficient exploring and generalizing over state spaces, particularly those with a DAG structure. However, prior GFlowNets-based language models operate at the token level and remain confined to tree-structured spaces, limiting their potential. In this work, we propose Flow of SpanS (FOSS), a principled GFlowNets framework for span generation. FoSS constructs a dynamic span vocabulary by segmenting the retrieved text flexibly, ensuring a DAG-structured state space, which allows GFlowNets to explore diverse compositional paths and improve generalization. With specialized reward models, FoSS generates diverse, high-quality text. Empirically, FoSS improves MAUVE scores by up to 12.5% over Transformer on text generation and achieves 3.5% gains on knowledge-intensive tasks, consistently outperforming state-of-the-art methods. Scaling experiments further demonstrate FoSS benefits from larger models, more data, and richer retrieval corpora, retaining its advantage over strong baselines.