대규모 언어 모델이 유해한 콘텐츠를 생성하는 이유는 무엇인가?

Why Do Large Language Models Generate Harmful Content?

대규모 언어 모델(LLM)은 유해한 콘텐츠를 생성하는 것으로 나타났습니다. 그러나 이러한 현상의 근본적인 원인은 아직 충분히 연구되지 않았습니다. 본 연구에서는 인과적 매개 분석 기반의 접근 방식을 제안하여 유해 콘텐츠 생성에 책임이 있는 인과적 요인을 식별합니다. 제안하는 방법은 모델 레이어, 모듈(MLP 및 어텐션 블록), 그리고 개별 뉴런에 대한 다중 수준 분석을 수행합니다. 최첨단 LLM에 대한 광범위한 실험 결과, 유해 콘텐츠 생성은 모델의 후반 레이어에서 주로 발생하며, 어텐션 블록보다는 MLP 블록에서의 오류로 인해 발생하며, 유해 콘텐츠 생성의 게이트 역할을 하는 뉴런과 관련이 있다는 것을 보여줍니다. 연구 결과는 모델의 초기 레이어가 프롬프트 내의 유해성에 대한 맥락적 이해를 위해 사용되며, 이 정보가 모델을 통해 전파되어 후반 레이어에서 유해성을 생성하고, 동시에 MLP 블록을 통해 유해성 신호를 전달한다는 것을 시사합니다. 이 신호는 모델의 마지막 레이어, 특히 일련의 희소한 뉴런에 전달되며, 이 뉴런은 신호를 받아 유해 콘텐츠 생성을 결정합니다.

Large Language Models (LLMs) have been shown to generate harmful content. However, the underlying causes of such behavior remain under explored. We propose a causal mediation analysis-based approach to identify the causal factors responsible for harmful generation. Our method performs a multi-granular analysis across model layers, modules (MLP and attention blocks), and individual neurons. Extensive experiments on state-of-the-art LLMs indicate that harmful generation arises in the later layers of the model, results primarily from failures in MLP blocks rather than attention blocks, and is associated with neurons that act as a gating mechanism for harmful generation. The results indicate that the early layers in the model are used for a contextual understanding of harmfulness in a prompt, which is then propagated through the model, to generate harmfulness in the late layers, as well as a signal indicating harmfulness through MLP blocks. This is then further propagated to the last layer of the model, specifically to a sparse set of neurons, which receives the signal and determines the generation of harmful content accordingly.