다중 모드 학습과 유전 프로그래밍의 만남: 잠재 공간 최적화에서의 정렬 분석

Multi-Modal Learning meets Genetic Programming: Analyzing Alignment in Latent Space Optimization

심볼릭 회귀(SR)는 데이터로부터 수학적 표현을 발견하는 것을 목표로 하며, 전통적으로 유전 프로그래밍(GP)이 조합적 탐색을 통해 이 작업을 수행해왔습니다. 잠재 공간 최적화(LSO) 방법은 신경망 인코더를 사용하여 심볼릭 표현을 연속적인 공간으로 매핑하여 조합적 탐색을 연속적인 최적화로 변환합니다. CLIP에서 영감을 받은 대비 학습 모델인 SNIP(Meidani et al., 2024)는 다중 모드 접근 방식을 도입하여 LSO를 발전시켰습니다. SNIP는 심볼릭 및 숫자 인코더를 공유된 잠재 공간에서 정렬하여 표현형-유전자 매핑을 학습하고, 숫자 공간에서의 최적화를 통해 심볼릭 탐색을 간접적으로 안내합니다. 그러나 이는 세밀한 교차 모드 정렬에 의존하며, CLIP과 같은 유사 모델에 대한 기존 연구에서는 이러한 정렬이 일반적으로 거친 수준임을 보여줍니다. 본 논문에서는 SNIP가 SR에 대한 효과적인 양방향 최적화라는 약속을 얼마나 잘 지키는지 조사합니다. 우리의 실험 결과는 다음과 같습니다. (1) 최적화 과정에서 교차 모드 정렬이 개선되지 않으며, 심지어 적합도가 증가하더라도 그렇습니다. (2) SNIP가 학습하는 정렬은 심볼릭 공간에서 효율적인 탐색을 수행하기에는 너무 거친 수준입니다. 이러한 결과는 다중 모드 LSO가 SR에 상당한 잠재력을 가지고 있지만, 효과적인 정렬 기반 최적화는 아직 실현되지 않았음을 보여주며, 세밀한 정렬이 향후 연구의 중요한 방향임을 강조합니다.

Symbolic regression (SR) aims to discover mathematical expressions from data, a task traditionally tackled using Genetic Programming (GP) through combinatorial search over symbolic structures. Latent Space Optimization (LSO) methods use neural encoders to map symbolic expressions into continuous spaces, transforming the combinatorial search into continuous optimization. SNIP (Meidani et al., 2024), a contrastive pre-training model inspired by CLIP, advances LSO by introducing a multi-modal approach: aligning symbolic and numeric encoders in a shared latent space to learn the phenotype-genotype mapping, enabling optimization in the numeric space to implicitly guide symbolic search. However, this relies on fine-grained cross-modal alignment, whereas literature on similar models like CLIP reveals that such an alignment is typically coarse-grained. In this paper, we investigate whether SNIP delivers on its promise of effective bi-modal optimization for SR. Our experiments show that: (1) cross-modal alignment does not improve during optimization, even as fitness increases, and (2) the alignment learned by SNIP is too coarse to efficiently conduct principled search in the symbolic space. These findings reveal that while multi-modal LSO holds significant potential for SR, effective alignment-guided optimization remains unrealized in practice, highlighting fine-grained alignment as a critical direction for future work.