디지털 붉은 여왕: LLM을 활용한 코어 워(Core War)에서의 적대적 프로그램 진화

Digital Red Queen: Adversarial Program Evolution in Core War with LLMs

거대 언어 모델(LLM)은 생물학적 진화에서 영감을 받아 다양한 분야의 문제 해결책을 진화시키는 데 점점 더 많이 사용되고 있습니다. 그러나 생물학적 진화와 달리, 대부분의 LLM 진화 프레임워크는 정적 최적화 문제로 구성되어 있어 실제 진화 과정을 특징짓는 개방형 적대적 역학을 간과하고 있습니다. 본 연구에서는 변화하는 목표에 대한 지속적인 적응을 통해 이른바 '붉은 여왕' 역학을 수용하는 간단한 자가 플레이 알고리즘인 디지털 붉은 여왕(DRQ)을 연구합니다. DRQ는 LLM을 사용하여 인공 생명 분야에서 연구되고 사이버 보안과 연관된 튜링 완전 환경인 '코어 워(Core War)' 게임 내에서 가상 머신 제어권을 두고 서로 경쟁하는 '워리어'라는 어셈블리 유사 프로그램을 진화시킵니다. DRQ의 각 라운드에서 모델은 이전의 모든 워리어를 패배시키기 위해 새로운 워리어를 진화시켜, 적응된 워리어들의 연속적인 시퀀스를 생성합니다. 많은 라운드를 거치면서, 우리는 워리어들이 (평가용으로 따로 둔 인간 제작 워리어 세트에 대해) 점점 더 범용적인 성능을 갖추게 됨을 관찰했습니다. 흥미롭게도 독립적인 실행 전반에 걸쳐 워리어들의 행동 다양성이 감소했는데, 이는 자연계의 수렴 진화와 같이 범용 행동 전략을 향한 수렴 압력이 존재함을 시사합니다. 이 결과는 정적 목표에서 동적 붉은 여왕 목표로 전환하는 것의 잠재적 가치를 강조합니다. 본 연구는 인공 시스템에서의 적대적 적응을 연구하고 LLM 기반 진화 방법을 평가하기 위한 풍부하고 제어 가능한 샌드박스로서 코어 워를 제시합니다. 더 넓게 보면, DRQ의 단순성과 효과성은 이와 유사한 최소한의 자가 플레이 접근 방식이 실제 사이버 보안이나 약물 내성 대응과 같은 다른 실용적인 다중 에이전트 적대적 도메인에서도 유용할 수 있음을 시사합니다.

Large language models (LLMs) are increasingly being used to evolve solutions to problems in many domains, in a process inspired by biological evolution. However, unlike biological evolution, most LLM-evolution frameworks are formulated as static optimization problems, overlooking the open-ended adversarial dynamics that characterize real-world evolutionary processes. Here, we study Digital Red Queen (DRQ), a simple self-play algorithm that embraces these so-called "Red Queen" dynamics via continual adaptation to a changing objective. DRQ uses an LLM to evolve assembly-like programs, called warriors, which compete against each other for control of a virtual machine in the game of Core War, a Turing-complete environment studied in artificial life and connected to cybersecurity. In each round of DRQ, the model evolves a new warrior to defeat all previous ones, producing a sequence of adapted warriors. Over many rounds, we observe that warriors become increasingly general (relative to a set of held-out human warriors). Interestingly, warriors also become less behaviorally diverse across independent runs, indicating a convergence pressure toward a general-purpose behavioral strategy, much like convergent evolution in nature. This result highlights a potential value of shifting from static objectives to dynamic Red Queen objectives. Our work positions Core War as a rich, controllable sandbox for studying adversarial adaptation in artificial systems and for evaluating LLM-based evolution methods. More broadly, the simplicity and effectiveness of DRQ suggest that similarly minimal self-play approaches could prove useful in other more practical multi-agent adversarial domains, like real-world cybersecurity or combating drug resistance.