의미 표현은 유도 가능한 인터페이스이다

Sense Representations Are Inducible Interfaces

의미 표현(명시적인, 토큰별 의미 분해)은 중의성 해소, 제어 및 다국어 정렬에 유용하지만, 기존 방식들은 모델이 미리 학습된 의미 구조를 내장해야 하는 단점이 있습니다. 본 논문에서는 ACROS라는 방법을 소개합니다. ACROS는 게이트된 잔차 추가 방식을 통해 동결된 사전 훈련된 디코더 언어 모델 내부에 명시적인 의미 경로를 유도합니다. SmolLM2-360M에서 ACROS는 기본 언어 모델의 성능을 유지하면서 동일한 유도 변수를 사용하여 세 가지 기능을 수행합니다: 첫째, WordNet의 가장 일반적인 의미(first-sense heuristic)와 경쟁력 있는 94.95 F1 점수를 달성하는 제로샷 단어 의미 중의성 해소; 둘째, 5,161개의 CoInCo 사례에서 간단한 비오라클 프록시를 사용하여 약 90%의 긍정적인 변화를 회복하는 낮은 KL 값 기반의 어휘 제어; 셋째, 평균 R@1 0.988, 목표 FLORES PPL 7.94를 달성하며 네 가지 언어로의 SENSIA 다국어 적응. ACROS는 의미 표현을 일반적인 사전 훈련된 언어 모델을 위한 유도 가능한 인터페이스로 만듭니다.

Sense representations (explicit, per-token meaning decompositions) are useful for disambiguation, steering, and cross-lingual alignment, but existing approaches require models to be pretrained with sense structure baked in. We introduce ACROS, which induces an explicit sense pathway into a frozen pretrained decoder LM through a gated residual addition. On SmolLM2-360M, ACROS preserves base LM quality while supporting three uses of the same induced variables: zero-shot word-sense disambiguation (64.95 F1 on Raganato ALL, competitive with the WordNet first-sense heuristic), low-KL lexical steering across 5,161 CoInCo cases where a simple non-oracle proxy recovers about 90% of positive shifts, and SENSIA cross-lingual adaptation to four languages (mean R@1 0.988, target FLORES PPL 7.94). ACROS makes sense representations an inducible interface for ordinary pretrained LMs.