CTR 예측에서 장단기 시퀀스 모델링의 균형을 위한 길이 적응형 관심사 네트워크(Length-Adaptive Interest Network)

Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction

최신 추천 시스템의 사용자 행동 시퀀스는 희소한 단기 상호작용부터 풍부한 장기 이력에 이르기까지 상당한 길이 이질성을 보입니다. 긴 시퀀스가 더 많은 문맥을 제공함에도 불구하고, 기존 CTR 모델에서 최대 입력 시퀀스 길이를 늘리는 것은 훈련 데이터의 어텐션 양극화(attention polarization)와 길이 불균형으로 인해 역설적으로 시퀀스가 짧은 사용자에 대한 성능을 저하시키는 현상이 관찰되었습니다. 이를 해결하기 위해, 우리는 시퀀스 길이를 조건부 신호로 명시적으로 통합하여 장기 및 단기 시퀀스 모델링의 균형을 맞추는 플러그 앤 플레이 프레임워크인 LAIN(Length-Adaptive Interest Network)을 제안합니다. LAIN은 길이를 연속적 표현으로 매핑하는 '스펙트럼 길이 인코더(Spectral Length Encoder)', 장기 및 단기 행동 브랜치 모두에 전역적 문맥 단서를 주입하는 '길이 조건부 프롬프팅(Length-Conditioned Prompting)', 그리고 시퀀스 길이에 따라 어텐션의 집중도를 적응적으로 조절하는 '길이 변조 어텐션(Length-Modulated Attention)'의 세 가지 경량 구성 요소로 이루어져 있습니다. 5가지 강력한 CTR 백본을 대상으로 3개의 실제 벤치마크에서 수행한 광범위한 실험 결과, LAIN은 일관되게 전반적인 성능을 향상시켰으며 최대 1.15%의 AUC 상승과 2.25%의 로그 손실(log loss) 감소를 달성했습니다. 특히, 제안하는 방법은 장기 시퀀스의 효과를 희생하지 않으면서도 단기 시퀀스 사용자에 대한 정확도를 크게 향상시킵니다. 본 연구는 순차적 추천(sequential recommendation)에서 길이로 유발되는 편향을 완화하기 위한 범용적이고 효율적이며 배포 가능한 솔루션을 제공합니다.

User behavior sequences in modern recommendation systems exhibit significant length heterogeneity, ranging from sparse short-term interactions to rich long-term histories. While longer sequences provide more context, we observe that increasing the maximum input sequence length in existing CTR models paradoxically degrades performance for short-sequence users due to attention polarization and length imbalance in training data. To address this, we propose LAIN(Length-Adaptive Interest Network), a plug-and-play framework that explicitly incorporates sequence length as a conditioning signal to balance long- and short-sequence modeling. LAIN consists of three lightweight components: a Spectral Length Encoder that maps length into continuous representations, Length-Conditioned Prompting that injects global contextual cues into both long- and short-term behavior branches, and Length-Modulated Attention that adaptively adjusts attention sharpness based on sequence length. Extensive experiments on three real-world benchmarks across five strong CTR backbones show that LAIN consistently improves overall performance, achieving up to 1.15% AUC gain and 2.25% log loss reduction. Notably, our method significantly improves accuracy for short-sequence users without sacrificing longsequence effectiveness. Our work offers a general, efficient, and deployable solution to mitigate length-induced bias in sequential recommendation.