결정론적 LLM 추론 엔진 'Defer' 공개... CPU 기반 동일 결과 보장

요약

최근 한 개발자가 실험적인 결정론적(deterministic) LLM 추론 엔진인 Defer를 공개했다. Defer는 동일한 프롬프트, 모델, 파라미터(온도, 시드 등) 입력 시 항상 비트 단위로 일치하는 동일한 결과를 출력하도록 설계되었다. 기존 LLM 추론과 달리 CPU에서 모든 연산을 고정된 순서로 처리하며, 멀티스레드나 GPU 커널, BLAS 등을 사용하지 않아 연산 순서에 따른 부동소수점 오차를 원천 차단했다. 현재 SmolLM2-135M 모델 기준 노트북 환경에서 초당 약 17토큰의 속도를 보여 성능은 다소 느리지만, 출력값이 입력값에 따른 순수 함수로 작동해 KV 캐시 저장 없이도 재현성을 보장한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.