PRISM Edit: 모든 시간적 답변을 위한 단일 벡터

PRISM Edit: One Vector for All Temporal Answers

모델 편집은 대규모 언어 모델(LLM)을 재학습 없이 최신 상태로 유지하지만, 시간과 관련된 사실들은 기존의 위치-수정 방식의 한계를 드러냅니다. 업데이트가 항상 대체되는 것은 아니기 때문입니다. 사실이 변경되면 새로운 답변은 현재 시점에 유효해야 하지만, 이전 답변은 역사적 맥락에서는 여전히 정확할 수 있습니다. 이러한 통찰력을 바탕으로, 인과 추적을 사용하여 LLM이 내부적으로 두 단계의 연산을 통해 이러한 구분을 이미 지원하고 있음을 보여줍니다. 초기 MLP 계층은 시간과 무관한 주제 표현을 검색하며, 후기 계층은 이를 시간 정보를 포함한 맥락과 조절하여 시간적으로 정확한 답변을 생성합니다. 이 발견에 따라, 우리는 PRISM Edit을 제안합니다. 이는 단일 다의적 표현을 시간적 맥락에 걸쳐 최적화하고 모델이 내재하는 조절 경로를 활용하여 시간적으로 올바른 예측으로 연결하며, 아키텍처 변경 없이 이를 수행합니다. 저희는 새로 제시한 시간 충돌 편집 벤치마크인 TimeConflict와 시간 정보를 추가한 CounterFact 데이터셋에서 PRISM Edit의 성능을 평가했습니다. PRISM Edit은 평균적으로 +23.3%의 Temporal Consistency (TC) 향상과 +33.7%의 Current Relative-time Score (CRS) 향상을 보였으며, 2배 이상 빠른 속도를 나타냅니다. 코드와 데이터는 다음 주소에서 공개적으로 이용 가능합니다: https://github.com/AnonymousStudy972/PRISM-Edit.

Model editing keeps large language models (LLMs) up to date without retraining, but temporal facts expose a limitation of the prevailing locate-and-edit paradigm: an update is not always a replacement. When a fact changes, the new answer should become current while the old answer may remain correct in historical time contexts. Building on this insight, we use causal tracing to show that LLMs already support this distinction via a two-stage internal computation: early MLP layers retrieve a time-agnostic subject representation, and later layers modulate it with temporal context to yield the time-correct answer. Motivated by this finding, we introduce PRISM Edit, which optimizes a single polysemous representation across temporal contexts and leverages the model's inherent modulation pathway to route it to temporally correct predictions, without any architectural modification. We evaluate on TimeConflict, a new temporal editing benchmark we introduce, and on temporally augmented CounterFact. PRISM Edit improves over the best baseline by +23.3 Temporal Consistency (TC) and +33.7 Current Relative-time Score (CRS) on average while being more than 2x faster. Code and data are publicly available at https://github.com/AnonymousStudy972/PRISM-Edit.