삼성, 13B 모델을 1GB 이하로 압축하는 'LittleBit' 오픈소스 공개

요약

삼성전자가 13B 파라미터 규모의 LLM을 1GB 미만으로 압축할 수 있는 오픈소스 기술 'LittleBit'을 공개했다. LittleBit은 잠재 요인 분해(latent factorization) 방식을 통해 AI 가중치를 1비트 미만, 일부 구성에서는 0.1비트 수준까지 극도로 압축한다. 핵심은 복잡한 부동 소수점 곱셈 연산을 비트 단위의 XOR 연산으로 대체하여 하드웨어 부담을 획기적으로 낮춘 점이다. 이를 통해 표준 FP16 모델 대비 11.6배 빠른 추론 속도를 구현하며, 매우 낮은 비트 환경에서도 모델의 성능을 안정적으로 유지한다. 이번 기술은 저사양 기기에서도 대규모 AI 모델을 로컬 환경에서 구동할 수 있는 새로운 효율적 모델 배포의 청사진을 제시한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.