색 보정 학습, 사진 공유 불필요: 개인화된 이미지 품질 향상을 위한 연합 기반 미적 선호도 학습

Learning Color Grading, No Photo Sharing: Federated Aesthetic Preference Learning for Personalized Image Enhancement

개인화된 이미지 품질 향상은 사용자의 개별적인 미적 취향을 반영해야 하지만, 이러한 선호도를 학습하는 데에는 일반적으로 민감한 사진 및 평가 데이터가 필요하며, 이는 중앙 집중식 수집에 적합하지 않습니다. 본 연구에서는 희소하고 이질적인 피드백으로부터 사용자 선호도를 추론하고, 자원 제약이 있는 사용자의 기기에서 자연스러운 색상 변환을 수행해야 하는 과제를 다룹니다. 우리는 FedPAIE라는 연합 기반의 개인화된 이미지 품질 향상 프레임워크를 소개합니다. FedPAIE는 중앙 서버에 원본 사진이나 평가 데이터를 수집하지 않고, 사용자 맞춤형 색 보정을 가능하게 합니다. FedPAIE는 경량의 이중 힌트 미적 점수판을 학습하고, 작은 로컬 데이터셋을 사용하여 이를 개인화된 점수판으로 조정하며, 이후 이 점수판은 원본 이미지를 사용하지 않고 로컬 사진들을 통해 경량 CLUT(Color Lookup Table) 향상기를 정규화하여 적응시키는 데 사용됩니다. 충실도 제약 조건과 과잉 간격 페널티는 점수판 기반의 적응 과정에서 프록시 점수의 과도한 최적화를 제한하고, 내용 보존 및 자연스러운 표현을 유지하도록 합니다. 전체 파이프라인에서 학습은 경량으로 진행되며, 점수판 학습은 최대 0.787M개의 매개변수를 업데이트하고, 향상기 적응은 0.265M개를 업데이트하며, 추론 시에는 0.293M개의 매개변수를 가진 개인화된 향상기를 사용합니다. MIT-Adobe FiveK 및 Flickr-AES 데이터셋에 대한 실험 결과, FedPAIE는 효과적인 개방형 환경에서의 개인화를 제공하며 사용자 선호도와 이미지 충실도 간의 균형을 잘 맞추는 것을 보여줍니다. 따라서 FedPAIE는 분산된 선호도 학습과 효율적인 개인화된 이미지 변환을 결합하며, 사용자의 수동 수정 데이터가 필요하지 않습니다.

Personalized image enhancement should reflect individual aesthetic taste, yet learning such preferences commonly depends on private photos and ratings that are unsuitable for centralized collection. The task must infer preference from sparse, heterogeneous feedback and translate it into natural-looking color transformations on resource-constrained user devices. We introduce FedPAIE, a federated personalized aesthetic image enhancement framework for user-adaptive color grading without centralizing raw photos or ratings. FedPAIE trains a lightweight dual-cue aesthetic scorer, calibrates it into a personalized scorer on a small local support set, and freezes it to guide regularized adaptation of a lightweight CLUT enhancer from unpaired local photographs. Fidelity constraints and an excess-gap penalty regularize scorer-guided adaptation to limit proxy-score over-optimization while preserving content and natural appearance. Training remains lightweight throughout the pipeline: scorer learning updates at most 0.787M parameters, enhancer adaptation updates 0.265M, and inference retains only a 0.293M-parameter personalized enhancer. Experiments on MIT-Adobe FiveK and Flickr-AES demonstrate effective open-world personalization and a favorable balance between user preference and image fidelity. FedPAIE thus connects decentralized preference learning with efficient personalized image transformation without requiring paired user retouches.