참고팁Reddit
GGUF/SafeTensors 대체 목표, 고성능 텐서 포맷 '.hk' 공개
레이어 GEMV 성능 향상을 내세운 새로운 텐서 포맷으로, 모델 파이프라인의 하드웨어 최적화에 관심 있다면 검토.
요약
AI 모델의 동적 운용과 하드웨어 효율성을 위해 설계된 오픈소스 텐서 프레임워크이자 바이너리 컨테이너 형식인 HK(.hk)가 공개되었다. HK는 기존 SafeTensors보다 레이어 GEMV 연산에서 1.72배 빠른 속도를 보이며, 8억 7,300만 개의 파라미터를 15ms 만에 로드할 수 있다. 개발자는 기존 GGUF와 SafeTensors가 가진 정적 데이터 구조의 한계를 해결하고, 멀티 모델 파이프라인 구성의 번거로움을 개선하기 위해 이 형식을 개발했다. 실시간으로 모델을 수정하거나 편집할 수 있는 유연성을 제공하여, 마치 인간의 사고처럼 동적으로 작동하는 AI 네트워크를 지향한다. 향후 복잡한 모델 배포 환경에서 하드웨어 최적화된 대안으로 활용될 것으로 기대된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 an open-source tensor format that's 1.72x faster than safetensors for layer GEMV and loads 873M params in 15ms
원문 보기 ↗