참고팁X
DeepSeek V4 Flash 2-Spark 연동 추론 성능: 초당 40토큰 달성
개인 로컬 추론 환경에서 Spark 2개를 연결한 DeepSeek V4 Flash의 실측 성능 데이터 공유.
요약
X 사용자 @Teknium은 Spark 장비 2대를 케이블 하나로 연결하여 DeepSeek V4 Flash 0731 Abliterated 모델을 구동한 결과, 약 40tok/s의 추론 속도를 확보했다고 밝혔다. 해당 환경에서는 dSpark 기술을 사용하지 않고도 완전히 검열되지 않은(uncensored) 상태로 개인적인 추론이 가능하다. @Teknium은 이번 테스트 결과를 통해 로컬 환경에서의 LLM 구동 성능을 입증했다. 또한 차기 모델인 Spark2가 512GB 메모리를 탑재하기를 희망한다는 기대를 덧붙였다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Teknium: Can confirm I have 2x sparks connected with one cable and get around 40tok/s without dspark on deepseek v4 flash 0731 abliterated.
원문 보기 ↗