Strata 모델 iq2_xxs 양자화 적용 시 무한 루프 이슈

요약

최근 한 사용자가 Strata 모델을 iq2_xxs 양자화 버전으로 구동한 결과, vanilla llama.cpp + 3.8 27B 모델과 유사한 수준인 초당 30토큰(tps)의 속도를 기록했다. 특히 코드를 다룰 때는 최대 50 tps까지 속도가 상승하는 성능을 보였다. 그러나 모델이 답변 도중 같은 말을 반복하며 루프에 빠지는 현상이 빈번하게 발생해 실질적인 테스트 진행에 어려움을 겪고 있다. 사용자는 답변이 생성되지 않고 "파일을 작성하자. 다시 생각해보겠다. 이제 확실히 작성하겠다"와 같은 문구를 반복하며 결정을 내리지 못하는 상황이라고 보고했다. 현재 제공되는 .bat 및 .JSON 설정 외에 반복 페널티 등을 조절할 수 있는 구체적인 llama 파라미터 접근이 제한적인 점이 문제 해결의 걸림돌로 지목된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.