참고팁Reddit
에이전트 대상 간접 프롬프트 인젝션 방어 도구 'Tamga' 공개
에이전트가 외부 도구 결과물을 처리할 때 악성 명령어를 탐지해 차단하는 오픈소스 라이브러리.
요약
Reddit의 r/LLMDevs 커뮤니티에 간접 프롬프트 주입(Indirect prompt injection) 공격을 방어하는 'Tamga' 도구가 소개되었습니다. 이 공격은 README 파일의 HTML 주석 내부에 모델의 지침을 무시하도록 유도하는 숨겨진 명령을 삽입하는 방식입니다. Tamga는 에이전트가 도구 결과를 읽기 전에 이를 스캔하여 차단하거나 해당 부분만 제거함으로써 공격을 방어합니다. 테스트 결과, 자체 구축한 데이터셋에서 78개의 공격을 모두 성공적으로 차단했고 85개의 정상 텍스트는 오탐 없이 통과시켰습니다. 개발자는 현재 더 까다로운 테스트 케이스를 모집하고 있으며, 해당 도구는 GitHub를 통해 공개되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Indirect prompt injection demo: the README looks harmless, the model sees a hidden instruction
원문 보기 ↗