K-V 캐시 정렬을 통한 잠재 공간 통신

Latent Space Communication via K-V Cache Alignment

대규모 언어 모델(LLM)을 사용하여 점점 더 복잡한 문제를 해결하기 위해서는 개별 모델에서 벗어나 효과적으로 협력할 수 있는 다중 모델 시스템으로 전환해야 합니다. 텍스트는 전통적으로 모델 간 통신의 매개체로 사용되어 왔지만, 모델이 서로의 내부 상태에 직접 접근할 수 있다면 더욱 풍부하고 효율적인 정보 교환이 가능합니다. 본 논문에서는 여러 모델의 K-V 캐시를 정렬하는 공유 표현 공간을 학습하여, 기존의 사전 학습된 파라미터를 변경하지 않고도 고대역폭의 협력 채널을 구축하는 방법을 제안합니다. 각 모델에 어댑터를 추가하여 해당 모델의 상태를 공유 공간으로 변환하고, 다시 원래 상태로 되돌리는 방식으로 구현했습니다. Gemma-2 모델을 사용한 다양한 실험을 통해, 제안하는 방법이 모델 간의 원활한 통신을 가능하게 할 뿐만 아니라 개별 모델의 성능을 향상시키는 것을 입증했습니다. 또한, 공유 공간을 통해 학습된 기술, 예를 들어 소프트 프롬프트를 서로 다른 모델 간에 직접 전송할 수 있음을 보여주었습니다. 본 연구는 모델이 지식과 기능을 유연하게 공유할 수 있는 미래를 향한 중요한 발걸음입니다.

Solving increasingly complex problems with large language models (LLMs) necessitates a move beyond individual models and towards multi-model systems that can effectively collaborate. While text has traditionally served as the medium for inter-model communication, a richer and more efficient exchange is possible if models can access each other's internal states directly. In this paper, we propose learning a shared representation space that aligns the k-v caches of multiple models, creating a high-bandwidth channel for collaboration without altering the underlying pre-trained parameters. We do so by augmenting each model with adapters to translate its state into and out of this shared space. Via a suite of experiments with Gemma-2 models, we demonstrate that this approach not only enables seamless inter-model communication but also improves individual model performance. We also show that the shared space allows for the direct transfer of learned skills, such as soft prompts, between different models. Our work represents a significant step towards a future where models can fluidly share knowledge and capabilities.