ctELM: 임베딩 언어 모델을 활용한 임상시험 데이터의 임베딩 해독 및 조작

ctELM: Decoding and Manipulating Embeddings of Clinical Trials with Embedding Language Models

텍스트 임베딩은 다양한 자연어 처리 응용 분야에서 필수적인 요소가 되었습니다. 그러나 임베딩 공간을 해석, 탐색 및 역추적하는 방법은 제한적이며, 이는 투명성을 저해하고 잠재적으로 유용한 생성적 활용 가능성을 제한합니다. 본 연구에서는 최근 보고된 임베딩 언어 모델(ELM) 방법을 사용하여 대규모 언어 모델을 임상시험 데이터의 임베딩에 맞춥니다. 우리는 공개 소스이며 도메인에 구애받지 않는 ELM 아키텍처 및 학습 프레임워크를 개발하고, 임상시험을 위한 학습 작업을 설계하고, 전문가 검증을 거친 합성 데이터셋을 소개합니다. 우리는 다양한 작업 및 학습 방식을 적용하여 일련의 ELM을 학습하고 그 영향을 분석합니다. 최종 모델인 ctELM은 임베딩만으로도 알려지지 않은 임상시험을 정확하게 설명하고 비교할 수 있으며, 새로운 벡터로부터 타당한 임상시험을 생성할 수 있습니다. 또한, 생성된 임상시험 초록이 연구 대상자의 연령 및 성별과 관련된 개념 벡터를 따라 임베딩을 이동할 때 반응한다는 것을 보여줍니다. 우리의 공개 ELM 구현 및 실험 결과는 생의학 분야를 넘어 대규모 언어 모델을 임베딩 공간에 맞추는 데 도움이 될 것입니다.

Text embeddings have become an essential part of a variety of language applications. However, methods for interpreting, exploring and reversing embedding spaces are limited, reducing transparency and precluding potentially valuable generative use cases. In this work, we align Large Language Models to embeddings of clinical trials using the recently reported Embedding Language Model (ELM) method. We develop an open-source, domain-agnostic ELM architecture and training framework, design training tasks for clinical trials, and introduce an expert-validated synthetic dataset. We then train a series of ELMs exploring the impact of tasks and training regimes. Our final model, ctELM, can accurately describe and compare unseen clinical trials from embeddings alone and produce plausible clinical trials from novel vectors. We further show that generated trial abstracts are responsive to moving embeddings along concept vectors for age and sex of study subjects. Our public ELM implementation and experimental results will aid the alignment of Large Language Models to embedding spaces in the biomedical domain and beyond.