참고Reddit
SSD와 RAM 활용한 17B 모델 구동 엔진 'Curie by colibrì' 공개
VRAM 부족 환경에서 대형 모델을 실행하는 새로운 메모리 계층 최적화 기법. 로컬 LLM 운영 시 고려해볼 만함.
요약
최근 Reddit r/LLMDevs에서 주목받은 'Curie by colibrì'는 고가의 장비 없이 일반 하드웨어 환경에서 대형 언어 모델을 구동하기 위해 개발된 프로젝트입니다. colibrì는 SSD, RAM, GPU를 단일 메모리 계층으로 통합하여, VRAM이나 RAM 용량을 초과하는 수천억 개의 파라미터를 가진 모델도 기존 하드웨어에서 실행할 수 있게 지원합니다. 개발자는 기존 오픈 모델들이 데이터 센터용 GPU 환경에 최적화되어 설계된 탓에, 일반 환경에서 효율성을 극대화하는 데 한계가 있다는 점을 발견했습니다. 이에 따라 colibrì는 단순히 모델을 실행하는 방식을 넘어, 엔진과 모델 구조 자체를 하드웨어 계층에 맞춰 최적화하는 새로운 접근 방식을 탐색하고 있습니다. 이번 프로젝트는 모델 가중치를 저렴한 SSD에 저장하고도 고성능 연산이 가능하도록 하여, LLM 개발의 진입 장벽을 낮추는 것을 목표로 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Curie by colibrì: I designed a 17B model to run from SSD on ordinary hardware
원문 보기 ↗