KAIST, LLM 미세조정 시 안전성 저하 막는 'Buffer-and-Reinforce' 개발

요약

KAIST 전기및전자공학부 김창익 교수 연구팀이 LLM 미세조정 시 발생하는 안전성 훼손 문제를 해결하는 '버퍼 앤드 리인포스(Buffer-and-Reinforce)' 학습 프레임워크를 15일 발표했다. LLM을 특정 데이터에 맞춰 미세조정할 경우 새로운 업무 수행 능력은 향상되지만, 기존 안전 규칙이 약화되는 부작용이 발생하는 점에 주목했다. 연구팀은 AI가 탈옥 공격에 노출되거나 안전 가이드라인을 위반하는 현상을 방지하기 위해 이 프레임워크를 설계했다. 이번 기술은 학습 과정에서 모델의 안전성 관련 지식을 완충 영역(Buffer)에 보존하고 이를 강화(Reinforce)하는 방식을 사용한다. 이를 통해 기업이나 개인용 맞춤형 AI 모델 개발 시 성능과 안전성을 동시에 확보할 수 있을 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.