루프를 연결고리로: 루프 트랜스포머는 표현 공간과 자연어 출력을 진정으로 연결할 수 있는가?

Loop as a Bridge: Can Looped Transformers Truly Link Representation Space and Natural Language Outputs?

대규모 언어 모델(LLM)은 종종 내부 지식과 명시적인 언어적 출력 간의 격차를 보입니다. 본 연구에서는 루프 트랜스포머(LT)가 공유 레이어를 반복하여 계산 깊이를 증가시키는 아키텍처로서, 이러한 격차를 반복적인 특성을 통해 '자기 성찰' 방식으로 해소할 수 있는지 경험적으로 조사합니다. 실험 결과, 루프 반복 횟수를 늘리면 격차가 줄어들지만, 이는 표현으로 전달되는 내부 지식의 저하에 부분적으로 기인합니다. 또한, 추가적인 경험적 분석 결과, 현재 LT의 표현 인식 능력은 루프를 거칠수록 향상되지 않으며, 최종 루프에서만 나타납니다. 이러한 결과는 LT가 계산 깊이를 확장하는 데 유망한 방향을 제시하지만, 표현 공간과 자연어를 진정으로 연결하는 데 필요한 자기 성찰 능력은 아직 충분하지 않음을 시사합니다.

Large Language Models (LLMs) often exhibit a gap between their internal knowledge and their explicit linguistic outputs. In this report, we empirically investigate whether Looped Transformers (LTs)--architectures that increase computational depth by iterating shared layers--can bridge this gap by utilizing their iterative nature as a form of introspection. Our experiments reveal that while increasing loop iterations narrows the gap, it is partly driven by a degradation of their internal knowledge carried by representations. Moreover, another empirical analysis suggests that current LTs' ability to perceive representations does not improve across loops; it is only present in the final loop. These results suggest that while LTs offer a promising direction for scaling computational depth, they have yet to achieve the introspection required to truly link representation space and natural language.