iLoRA: 잠재적 상호작용 그래프를 활용한 베이지안 저랭크 적응 - 미생물 진단을 위한 방법

iLoRA: Bayesian Low-Rank Adaptation with Latent Interaction Graphs for Microbiome Diagnosis

매개변수 효율적인 적응 방식은 LLM을 도메인 예측에 실용적으로 사용할 수 있게 했지만, 기존 LoRA는 여전히 정적인 저랭크 업데이트에 의존하며, 과학적 라벨에 영향을 미치는 잠재적 상호작용을 드러내지 못합니다. 본 논문에서는 iLoRA를 소개합니다. 저희가 알기로는 이것은 최초의 베이지안 그래프 기반 LoRA 프레임워크입니다. iLoRA는 입력 데이터로부터 잠재적 상호작용 그래프를 추론하고, 이를 사용하여 입력에 조건화된 LoRA 업데이트를 생성합니다. 결과적으로 iLoRA는 예측과 잠재적 상호작용 구조를 동시에 학습하며, 예측 모델을 훈련한 후에만 상호작용 분석을 수행하는 기존 방식과는 다릅니다. 본 논문에서는 이 아이디어를 미생물 진단에 적용했습니다. 질병 상태는 종 수준의 풍부도뿐만 아니라 미생물 간의 상호작용에도 영향을 받을 수 있습니다. 저희는 두 가지 상호 보완적인 환경에서 iLoRA를 평가했습니다. 첫째, 사람에 의해 주석이 달린 그래프를 활용한 대화형 질의응답을 통해 잠재적 구조 복구 능력을 테스트하고, 둘째, 여러 코호트를 대상으로 한 염증성 장 질환 진단을 통해 생물의학적 유용성을 검증했습니다. 두 환경 모두에서 iLoRA는 기존 LoRA 및 베이지안 적응 모델보다 성능이 우수하며, 사람의 주석과 코호트 수준의 미생물 연관성과 일치하는 그래프를 복구하고, 적당한 그래프 구조 오버헤드로 함께 불확실성을 제공합니다.

Parameter-efficient adaptation has made LLMs practical for domain prediction, but standard LoRA still relies on a static low-rank update and does not expose the latent interactions that often drive scientific labels. We introduce iLoRA. To our knowledge, it is the first Bayesian graph-conditioned LoRA framework. It infers a latent interaction graph from the input and uses it to generate input-conditioned LoRA updates. As a result, iLoRA learns prediction and latent interaction structure jointly, rather than training a predictor and applying interaction analysis only post hoc. We instantiate this idea for microbiome diagnosis, where disease state can depend on both species-level abundance and microbe-microbe cross-talk, and evaluate it in two complementary settings: interactive QA with human-annotated graphs, which tests latent structure recovery, and multi-cohort IBD diagnosis, which tests biomedical utility. Across both settings, iLoRA improves over strong LoRA and Bayesian adaptation baselines, recovers graphs aligned with human annotations and cohort-level microbiome associations, and provides calibrated uncertainty with moderate graph-branch overhead.