라구나(Laguna) S 2.1 모델 벤치마크 및 로컬 실행 후기

요약

Poolside이 자사의 신규 모델 'Laguna S 2.1'을 공개함에 따라, 한 사용자가 이를 활용한 로컬 LLM 구동 환경을 공유했다. 사용자는 3개의 V620 그래픽카드를 장착해 총 96GB의 VRAM을 확보했으며, Laguna S 2.1의 Q4_K_M 양자화 모델을 256K 컨텍스트 @ F16 설정으로 구동 중이다. Dell PowerEdge R740 서버와 듀얼 Xeon Gold 6248R 프로세서 기반 환경에서 테스트한 결과, dflash 기술을 사용하지 않고도 400~600 tok/s의 프리필(prefill) 속도와 16~20 tok/s의 생성 속도를 기록했다. 해당 그래픽카드는 개당 350달러라는 비교적 저렴한 비용으로 효율적인 VRAM 확장이 가능하다는 점에서 실무자들의 관심을 끌고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.