비지시적 텍스트 접두사를 통한 LLM RLHF 우회 실험 결과

요약

Reddit의 한 사용자가 지시사항이 없는 긴 텍스트를 프롬프트 앞에 삽입할 경우 LLM의 RLHF 제약 사항이 우회될 수 있다는 실험 결과를 공유했다. 해당 실험에 따르면, 특정 지시 없이도 주제와 관련된 긴 텍스트를 서두에 배치하면 모델의 거절률이 낮아지고 응답 어조가 변하는 등 모델 행동이 지속적으로 변화했다. 특히 이 방식은 'Gemma'와 같은 모델에서 정치적으로 민감한 질문에 대한 거절 반응을 우회하는 현상을 보였다. 주목할 점은 삽입된 텍스트에 직접적인 탈옥(jailbreak) 지시가 없으며, 모델이 해당 텍스트 내용에 동의하지 않더라도 응답 방식의 변화가 세션 전반에 걸쳐 유지된다는 것이다. 이러한 현상은 RLHF로 정렬된 모델의 안전성 필터가 문맥의 영향을 크게 받을 수 있음을 시사하며, AI 모델의 보안과 안전성 확보에 새로운 과제를 제기하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.