잠재 공간: 기초, 진화, 메커니즘, 능력, 그리고 전망

The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

잠재 공간은 언어 기반 모델의 핵심적인 기반으로 빠르게 부상하고 있습니다. 현대 시스템은 여전히 명시적인 토큰 수준의 생성을 통해 이해되는 경우가 많지만, 증가하는 연구 결과는 많은 중요한 내부 프로세스가 사람이 읽을 수 있는 언어적 표현보다 연속적인 잠재 공간에서 더 자연스럽게 수행된다는 것을 보여줍니다. 이러한 변화는 명시적 공간 계산의 구조적 한계, 즉 언어적 중복성, 이산화 병목 현상, 순차적 비효율성 및 의미 손실에 의해 주도됩니다. 본 논문은 언어 기반 모델에서 잠재 공간에 대한 통합적이고 최신 정보를 제공하는 것을 목표로 합니다. 본 논문은 잠재 공간을 다섯 가지 관점으로 나누어 구성합니다: 기초, 진화, 메커니즘, 능력, 그리고 전망. 먼저, 잠재 공간의 범위를 명확히 하고, 명시적 또는 언어적 공간과 생성형 시각 모델에서 일반적으로 연구되는 잠재 공간과의 차이점을 구분합니다. 그런 다음, 초기 탐색적 노력부터 현재의 대규모 확장에 이르기까지 해당 분야의 진화를 추적합니다. 기술적 지형을 체계화하기 위해, 기존 연구를 메커니즘과 능력이라는 상호 보완적인 관점에서 분석합니다. 메커니즘의 관점에서, 우리는 네 가지 주요 발전 방향을 식별합니다: 아키텍처, 표현, 계산, 그리고 최적화. 능력의 관점에서, 잠재 공간이 추론, 계획, 모델링, 인식, 기억, 협업 및 인체화와 같은 광범위한 능력 스펙트럼을 지원하는 방식을 보여줍니다. 기존 연구를 종합하는 것 외에도, 주요 미해결 과제를 논의하고, 향후 연구를 위한 유망한 방향을 제시합니다. 본 논문이 기존 연구에 대한 참고 자료가 될 뿐만 아니라, 차세대 인텔리전스를 위한 일반적인 계산 및 시스템 패러다임으로서 잠재 공간을 이해하는 데 도움이 되는 기초를 제공하기를 바랍니다.

Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.