참고Reddit
LLM 하드웨어 비용 절감: HBM 대신 'Mask ROM' 활용 아이디어
가중치 읽기 전용인 모델 특성을 고려해 저렴한 ROM에 모델을 태우고 DRAM은 동적 데이터만 처리하는 차세대 하드웨어 설계 제언.
요약
Reddit의 r/LLMDevs에서 LLM 하드웨어 비용 절감을 위한 'Bus Speed ROM' 개념이 주목받고 있다. Michael Snyder는 LLM의 가중치가 읽기 전용이라는 점에 착안해, 모델의 기본 가중치를 저렴한 Mask ROM에 각인하고 실제 변동되는 데이터만 DRAM에 저장하는 방식을 제안했다. 이 모델은 기본 가중치를 교체 가능한 카트리지나 도터 카드 형태로 구현하고, 소규모 LoRA 방식의 차이값만 동적 메모리에 유지하여 효율성을 높인다. 기존의 'ROM은 느리다'는 편견을 반박하며, 하드웨어 아키텍처를 최적화하면 ROM으로도 충분한 속도를 낼 수 있음을 강조한다. 이는 LLM 배포 시 가장 비싸고 희소한 자원인 HBM/DRAM 비용을 획기적으로 줄일 수 있는 대안으로 평가받는다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 An Idea to Lower Local LLM Hardware Costs - Bus Speed ROM
원문 보기 ↗