SketchSense: 불완전한 스케치 지침을 해석하여 이미지 복원하는 방법

SketchSense: Learning to Interpret Imperfect Sketch Guidance for Image Inpainting

스케치를 활용한 이미지 복원은 직관적인 구조 제어를 제공하지만, 실제 스케치는 종종 신뢰할 수 있는 전반적인 의도와 함께 국지적으로 혼잡하고, 위치가 잘못되었거나, 불완전하거나, 의도적으로 비정형적인 획을 포함합니다. 기존 방법들은 일반적으로 입력 스케치를 노이즈 제거 과정 전체에서 고정된 조건으로 유지하거나, RGB 합성 전에 이를 깔끔한 구조로 변환하는 방식을 사용합니다. 전자는 모든 획이 신뢰할 수 있다고 가정하며, 이는 국지적인 오류가 생성 과정 전체에 퍼져나가는 결과를 초래할 수 있습니다. 후자는 이미지의 외형 및 의미적 맥락이 나타나기 전에 모호한 구조를 해결해야 합니다. 본 논문에서는 SketchSense라는 프레임워크를 제안합니다. SketchSense는 RGB와 구조 정보 스트림을 동시에 노이즈 제거하면서 불완전한 스케치 지침을 해석합니다. 양방향 어텐션 퓨전은 이미지 생성과 구조 복구를 결합하여, 모델의 진화하는 스케치 해석을 보여주는 정제된 구조를 생성합니다. 구문 수준의 목적 함수는 두 스트림의 의미론적 연결성을 맞춥니다. Sketch-Aware Spatial Regulation은 어텐션 및 퓨전 과정을 조절하여 스케치 활용을 로컬 생성 상태에 맞게 조정하며, 선택적으로 사용되는 signed prior는 특징 표현과 어텐션 동작에 보존 또는 수정 의도를 주입합니다. 자연 이미지와 복잡한 구조를 가진 이미지에 대한 실험 결과는 기존 방법보다 복원 품질 및 구조 정확도 측면에서 상당한 성능 향상을 보여줍니다.

Sketch-guided image inpainting provides intuitive structural control, yet real sketches often mix reliable global intent with locally crowded, displaced, incomplete, or deliberately unconventional strokes. Existing approaches typically either retain the input sketch as a fixed condition throughout denoising or refine it into a clean structure before RGB synthesis. The former assumes uniformly reliable strokes and can propagate local errors throughout generation; the latter must resolve ambiguous structure before emerging appearance and semantic context become available. We propose SketchSense, a framework that interprets imperfect sketch guidance by synchronously denoising interacting RGB and structure streams. Bidirectional Attention Fusion couples appearance generation with structural recovery, producing a refined structure that exposes the model's evolving sketch interpretation. A phrase-level objective aligns the semantic grounding of the two streams. Sketch-Aware Spatial Regulation further adapts sketch use to local generation states by modulating attention and the fusion process, while an optional signed prior injects preserve-versus-correct intent into feature representations and attention behavior. Experiments on natural and structurally complex imagery show substantial gains over existing methods in both restoration quality and structural fidelity.