비동기 토큰 디코딩을 이용한 확산 이미지 편집

Diffusion Image Editing via Asynchronous Token Decoding

텍스트 기반의 확산 이미지 편집은 이미지의 의미적 속성을 변경하면서도 그 정체성, 레이아웃 및 배경을 유지하는 것을 목표로 합니다. 그러나 샘플링 과정에서 텍스트 조건을 무분별하게 바꾸면 종종 전역적인 왜곡이 발생하는데, 이는 노이즈 제거 과정에서 변화가 토큰 전체로 확산되어 편집되지 않은 영역에도 영향을 미치기 때문입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 각 샘플러 단계를 전역적으로 연결된 토큰 행렬의 병렬 업데이트로 보고, 토큰 인덱스를 기반으로 조건 변경을 다양한 업데이트 정책과 함께 수행하는 추론 시간 프레임워크인 ATDEdit (Asynchronous Token Decoding Edit)을 제안합니다. ATDEdit은 모든 토큰에 동기적인 목표 조건 업데이트를 적용하는 대신, 토큰별 조건부 놀람도를 사용하여 편집 가능한 위치를 추정하고 선택된 토큰 집합에만 목표 조건 기반의 수정을 적용합니다. 또한, ATDEdit은 유지해야 할 토큰 위치에 소스 키/값 메모리를 제공하고, 선택된 유지 토큰의 잠재 행렬을 원래 값으로 되돌리는 작업을 수행하여 배경 보존을 촉진하지만, 픽셀 단위의 불변성을 보장하지는 않습니다. 이러한 접근 방식은 외부 또는 사용자가 제공하는 공간 마스크 없이, 모델 미세 조정 없이 로컬 편집과 배경 보존을 결합합니다. PIE-Bench 데이터셋에서 ATDEdit은 27.44~dB PSNR 및 0.055 LPIPS와 같은 가장 우수한 보존 지표를 달성했으며, 동시에 경쟁력 있는 의미론적 정렬성을 유지했습니다.

Text-guided diffusion image editing aims to modify semantic attributes of an image while preserving its identity, layout, and background. However, naïvely switching the text condition during sampling often causes global drift, as denoising dynamics propagate changes across tokens and can disrupt unedited regions. To address this issue, we propose \textbf{A}synchronous \textbf{T}oken \textbf{D}ecoding \textbf{Edit} (ATDEdit), an inference-time framework that views each sampler step as a parallel update of a globally coupled token matrix and enables token-indexed condition switching with differentiated update policies. Instead of applying synchronous target-conditioned updates to all tokens, ATDEdit estimates editable locations using token-wise conditional surprisal and applies target-conditioned corrections to the selected token set. It supplies source key/value memory at keep-token positions and projects selected keep-token latent rows back to their source values; these operations promote background preservation but do not constitute a pixel-level invariance guarantee. This approach combines local editing and background preservation without external or user-provided spatial masks and without model fine-tuning. On PIE-Bench, ATDEdit achieves the strongest reported preservation metrics, including 27.44~dB PSNR and 0.055 LPIPS, while retaining competitive semantic alignment.