LLM 출력물 출처 추적 기법: '확인됨/생성됨' 라벨링 프레임워크 공개

요약

최근 한 개발자가 모델이 생성한 텍스트에 출처를 명시하는 프롬프트 수준의 'Provenance labels' 프레임워크를 공개했다. 이 방식은 별도의 모델 재학습이나 인프라 수정 없이 (u), (m), (g)와 같은 인라인 라벨을 활용해 데이터의 신뢰성을 구분한다. 실제 테스트 결과, 5개 에이전트 환경에서 라벨을 사용했을 때 36번 중 33번의 출처를 유지한 반면, 라벨이 없을 때는 4번만 유지했다. 다만, 허위 'checked' 라벨이 다른 에이전트를 4회 연속으로 속이는 등 보안상의 한계도 확인되었다. 개발자는 해당 프레임워크가 모델의 추론을 보증하는 도구가 아니라, 과정을 추적하는 감사 로그(audit trail)로 활용되어야 한다고 강조했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.