참고X
오픈 웨이트 모델 대상 악성 공격 데이터 파인튜닝 제안 급증 경고
보안 취약점 데이터로 모델을 학습시키려는 악의적 제안이 실존함. 오픈 웨이트 모델 보안 및 학습 데이터 출처 관리에 대한 경각심 필요.
요약
X(구 트위터) 사용자 @jun_song은 익명의 블랙햇 그룹으로부터 오픈 웨이트 모델을 익스플로잇 데이터로 사후 학습(post-train)해달라는 거액의 제안을 받았다고 밝혔다. 해당 그룹이 보유했다고 주장하는 공격 데이터의 규모는 압도적이며, 정보기관의 데이터셋으로 착각할 수준인 것으로 알려졌다. 과거 GLM-5.3을 활용한 화이트햇 프로젝트에서 사용한 데이터 양의 1% 미만으로도 최신 모델들을 크게 뛰어넘는 성능을 보였음을 고려할 때, 이번에 제안받은 데이터량은 매우 위협적이다. 제안을 거절했음에도 불구하고, 결국 다른 누군가가 이 제안을 받아들여 악용할 가능성이 크다는 점이 우려되는 부분이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @jun_song: Yesterday, an anonymous black hat group reached out with an insane RL request. They offered an astronomical amount of money to pos
원문 보기 ↗