참고Reddit
LLM의 '문맥 드리프트' 현상과 프롬프트 인젝션 취약성 분석
중립적 문서 입력만으로도 모델의 RLHF 가이드라인이 우회될 수 있음을 지적한 연구. 보안 프롬프트 설계 시 참고.
요약
최근 Reddit의 r/ChatGPTCoding 커뮤니티에서 LLM의 탈옥(jailbreak) 메커니즘에 대한 독립적인 연구 결과가 공유되었다. 2025년 말부터 연구된 이 현상은 중립적인 내용의 문맥이라도 모델의 활성화 상태에 지속적인 편향(drift)을 일으킬 수 있음을 보여준다. 이러한 편향은 세션 전체에 걸쳐 유지되며, 모델이 문맥의 내용에 동의하는지 여부와 관계없이 RLHF로 설정된 안전장치를 우회하게 만든다. 실험자는 Colab 환경에서 오픈 소스 LLM을 사용하여 모델이 검열되지 않은 것처럼 행동하는 현상을 관찰했다. 즉, 특정 텍스트가 명시적인 지시사항이 아니더라도 모델의 전체적인 동작 방식을 근본적으로 바꿀 수 있다는 점이 핵심이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 jailbreaks — I think I finally get how they work: it all started with an ordinary document — I fed it to the model, and it ended up holding the model hostage.
원문 보기 ↗