BidirLM: 원인-결과 언어 모델을 활용하여 텍스트에서 멀티모달 양방향 인코더를 구축하는 방법

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

원인-결과 생성 언어 모델을 양방향 인코더로 변환하는 것은 BERT 스타일 아키텍처에 대한 강력한 대안을 제공합니다. 그러나 현재 접근 방식은 다음과 같은 한계점을 가지고 있습니다. 최적의 학습 목표에 대한 합의가 부족하며, 대규모 환경에서 파국적인 망각 현상이 발생하고, 다양한 특수 생성 모델을 유연하게 통합하지 못합니다. 본 연구에서는 Gemma3 및 Qwen3 모델 패밀리에 대한 체계적인 분석을 통해 성공적인 적응을 이끄는 핵심 요인을 파악하고, 종종 간과되는 사전 마스킹 단계의 중요한 역할을 강조합니다. 원본 사전 학습 데이터 없이 이 프로세스를 확장하기 위해, 선형 가중치 병합과 가벼운 멀티 도메인 데이터 혼합을 결합한 이중 전략을 도입하여 파국적인 망각 현상을 완화합니다. 마지막으로, 특수 원인-결과 모델과 인코더를 병합하여 모달리티 및 도메인별 기능을 원활하게 이전합니다. 본 연구에서 제안하는 오픈 소스 방법은 모든 원인-결과 디코더 LLM에 적용 가능하며, BidirLM은 텍스트, 비전 및 오디오 표현 벤치마크에서 기존 방식보다 뛰어난 성능을 보이는 5가지 인코더 패밀리로 구성됩니다.

Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.