로짓 재분배를 통한 AI 모델 조절

AI Model Modulation with Logits Redistribution

대규모 모델은 일반적으로 모델 소유자와 사용자의 다양한 요구사항을 충족하기 위해 사용됩니다. 그러나 여러 개의 특화된 모델 버전을 유지하는 것은 비효율적입니다. 이에 대응하여, 우리는 단일 모델이 특정 목표 요구사항을 충족하도록 다양한 동작을 수행할 수 있도록 하는 새로운 모델 조절 패러다임인 AIM을 제안합니다. AIM은 유틸리티 조절 및 집중 조절이라는 두 가지 주요 조절 모드를 지원합니다. 전자는 모델 소유자가 출력 품질을 동적으로 제어하여 다양한 수준의 유틸리티를 제공할 수 있도록 하고, 후자는 사용자가 모델의 집중 입력 특징을 정밀하게 제어할 수 있도록 합니다. AIM은 훈련 데이터에 의존하지 않고 재학습 없이 작동하는 로짓 재분배 전략을 도입합니다. 우리는 AIM의 조절 능력을 보장하기 위해, 결합 확률 분포를 통한 로짓 순서의 통계적 특성을 기반으로 공식적인 기반을 확립했습니다. 우리의 평가는 이미지 분류, 의미론적 분할 및 텍스트 생성과 같은 다양한 작업 및 ResNet, SegFormer 및 Llama와 같은 널리 사용되는 아키텍처에서 AIM의 실용성과 다재다능함을 확인했습니다.

Large-scale models are typically adapted to meet the diverse requirements of model owners and users. However, maintaining multiple specialized versions of the model is inefficient. In response, we propose AIM, a novel model modulation paradigm that enables a single model to exhibit diverse behaviors to meet the specific end requirements. AIM enables two key modulation modes: utility and focus modulations. The former provides model owners with dynamic control over output quality to deliver varying utility levels, and the latter offers users precise control to shift model's focused input features. AIM introduces a logits redistribution strategy that operates in a training data-agnostic and retraining-free manner. We establish a formal foundation to ensure AIM's regulation capability, based on the statistical properties of logits ordering via joint probability distributions. Our evaluation confirms AIM's practicality and versatility for Al model modulation, with tasks spanning image classification, semantic segmentation and text generation, and prevalent architectures including ResNet, SegFormer and Llama.