참고팁Reddit
로컬 환경에서 구동한 'ripple-65b-preview' 성능 테스트 후기
고용량 로컬 LLM의 실질적인 작업 처리 방식과 벤치마크 결과를 공유하여 하드웨어 구축 시 참고 가능.
요약
최근 Reddit에 공개된 ripple-65b-preview(q4_k_m) 모델을 64GB MacBook Pro 환경에서 로컬 구동한 테스트 결과가 공유되었습니다. 5개 부분으로 구성된 파이썬 애플리케이션 코딩 작업에서 50개의 히든 테스트를 진행한 결과, 3번의 실행에서 각각 38, 49, 27점을 기록했습니다. 이 모델은 파일을 읽은 뒤 전체 앱 코드를 한 번에 생성(363~442줄, 약 5분 소요)하는 방식을 취하며, 생성 속도는 약 12.6 tok/s로 측정되었습니다. 기존 Qwen 3.8 27B 모델과 달리 ripple-65b-preview는 코드를 매번 직접 실행하며, 첫 번째로 작동하는 명령에서 생성을 멈추는 특징을 보였습니다. 런타임 중 발생한 오류를 스스로 수정하고 결과를 확인하는 과정을 거치지만, 초기 단계의 실수나 편집 오류가 누적될 경우 성능 저하가 발생하기도 했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 ripple-65b-preview running locally scored 38, 49 and 27 out of 50. the 49 is the run that hit the most errors
원문 보기 ↗