참고팁Reddit
Laguna-S-2.1 실사용 벤치마크: RTX Pro 6000 환경에서 Qwen3.5와 비교
RTX Pro 6000에서 vLLM으로 돌린 구체적 성능 및 툴콜링 후기. 오픈소스 모델 운영 시 참고할 만한 실측 데이터.
요약
최근 공개된 Laguna-S-2.1 모델을 RTX Pro 6000(96GB) 환경에서 Qwen3.5-122B와 비교 테스트한 결과가 Reddit에 공유되었습니다. vLLM 0.25.1과 NVFP4를 활용해 262,144 컨텍스트 윈도우에서 구동한 결과, Laguna-S-2.1은 테스트한 100B 이상의 모델 중 가장 빠른 속도를 보였습니다. 특히 툴 콜링(Tool calling) 능력은 매우 뛰어나지만, 과부하 상황에서는 사실관계를 조작하는 할루시네이션 현상이 나타나는 것으로 확인되었습니다. 작성자는 160개의 태스크를 자동화된 스크립트로 평가했으며, 이 모델이 성능과 한계가 공존하는 독특한 특성을 지녔다고 평가했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I ran Laguna-S-2.1 through my private agentic eval vs Qwen3.5-122B on an RTX Pro 6000 (96GB). Fastest 100B+ I've tested and the best tool calling, but it invents facts under pressure.
원문 보기 ↗