Liquid AI, LFM2.5-24B-A2B 성능 테스트: AMD W7900 환경에서 초당 95토큰 기록

요약

최근 공개된 LiquidAI의 신규 모델 LFM2.5-24B-A2B에 대한 사용자들의 긍정적인 평가가 이어지고 있다. 한 사용자는 기존에 사용하던 Ornith 1.5-35B를 대체해 해당 모델을 테스트한 결과, 매우 안정적이고 빠른 성능을 보였다고 밝혔다. AMD W7900 GPU와 ROCM 기반의 llama.cpp 환경에서 구동했을 때 약 95 tps의 속도를 기록하며 뛰어난 효율성을 입증했다. Q8 양자화 버전은 128k 컨텍스트를 모두 활용할 때 30GB의 VRAM을 사용한다. 기존 모델이 놓치던 통찰력까지 제공하며, 반복적인 기계적 작업에서도 성능 저하 없이 우수한 처리 능력을 보여주고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.