LLM 추론의 불투명성 해결: 생성 결과의 모델 버전을 입증하는 '인과성 증명' 기술

요약

LLM 개발 환경에서 프롬프트와 응답 로그는 기록할 수 있지만 실제 어떤 모델 버전과 가중치가 추론에 사용되었는지 증명할 수 없다는 책임 공백 문제가 제기되었다. 현재 시스템은 런타임 변조나 결과값의 위변조를 독립적으로 검증할 수 없어 서비스 제공업체의 신뢰에 전적으로 의존해야 하는 구조다. 이러한 검증 부재는 모델의 결과가 의사결정에 중요한 영향을 미치는 비즈니스 영역에서 큰 리스크로 작용할 수 있다. 이에 대한 해결책으로 OpenGradient는 추론 시 모델, 입력, 출력 값을 바인딩하고 증명을 첨부하는 기술을 제공하고 있다. 이는 운영자의 신뢰 수준에 따라 TEE(신뢰 실행 환경)나 zkml(영지식 머신러닝) 방식을 선택하여 적용할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.