Mica 4B vs Laya: 테트리스 환경에서의 로컬 모델 의사결정 성능 벤치마크

요약

최근 Reddit의 r/LocalLLM에서 결정 모델 Mica v0.1 4B와 Laya(ModernBERT-large 421M)의 테트리스 게임 성능을 비교한 실험이 주목받고 있다. 실험은 10x20 보드에서 동일한 피스 시퀀스와 3개의 시드 조건을 사용했으며, 두 모델 모두 텍스트 생성 없이 확률과 점수를 기반으로 최적의 위치를 선택했다. Mica는 Q5_K_M 양자화 모델로 llama.cpp 환경에서 구동되었고, Laya는 PyTorch 환경에서 실행됐다. 결과적으로 Mica는 3개 시드 중 2개에서 250개의 피스를 모두 소화하며 생존했으나, Laya는 50~59개 피스에서 게임이 종료되는 성능 차이를 보였다. 이번 테스트는 0 토큰 출력 환경에서도 LLM이 특정 휴리스틱 기반의 의사결정 모델로 활용될 수 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.