완전 정보 기반 확장 게임에서 게임 플레이 에이전트에 워터마킹

Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

최근 대규모 언어 모델(LLM)에 대한 워터마킹 기술이 주목받고 있는데, 이는 출력에 숨겨진 정보를 인코딩하여 출처를 확인할 수 있게 해주며, 의도적이든 아니든 모델의 오용을 탐지할 수 있는 잠재력을 가지고 있기 때문입니다. 게임 플레이 분야에서도 유사한 문제, 즉 AI 도구의 무단 사용(예: 온라인 체스에서의 부정행위)을 탐지하는 문제 등이 존재합니다. 본 논문에서는 게임 플레이 전략에 워터마킹을 적용하는 연구를 시작합니다. 완전 정보 기반 확장 게임에서 게임 플레이 에이전트를 워터마킹하기 위해 LLM용 KGW 워터마크를 어떻게 적용할 수 있는지 보여줍니다. 워터마크는 통계적 테스트를 통해 탐지할 수 있습니다. 워터마크가 적용된 전략 프로필의 품질 저하(예상 효용으로 측정)는 제한될 수 있지만, 탐지 가능성과 품질 간에는 상충 관계가 존재합니다. 실험 결과, 다양한 체스 엔진에 워터마킹 프레임워크를 적용한 결과, a) 워터마크가 전략의 품질에 미치는 영향은 미미하며, b) 몇 가지 게임만으로 워터마크를 탐지할 수 있음을 확인했습니다.

Watermarking techniques for large language models (LLMs), which encode hidden information in the output so its source can be verified, have gained significant attention in recent days, thanks to their potential capability to detect accidental or deliberate misuse. Similar challenges involving model misuse also exist in the context of game-playing, such as when detecting the unauthorized use of AI tools in gaming platforms (e.g., cheating in online chess). In this paper, we initiate the study of how game-playing strategies can be watermarked. We show how the KGW watermark for LLMs can be adapted to watermark game-playing agents in perfect-information extensive-form games. The watermark can then be detected using a statistical test. We show that the degradation in the quality of the watermarked strategy profile, quantified by the expected utility, can be bounded, but there is a tradeoff between detectability and quality. In our experiments, we bootstrap the watermarking framework to various chess engines and demonstrate that a) the impact of the watermark on the quality of the strategy is negligible and b) the watermark can be detected with just a handful of games.