토큰 생성 없는 로컬 LLM의 게임 제어: Mica 4B 사례

요약

Mica v0.1 4B 모델이 텍스트 생성 없이 마인크래프트 1.20.4 서버에서 아이템 파밍을 수행하는 데 성공했다. 이 방식은 모델이 직접 텍스트를 출력하는 대신, 게임 상태 정보를 텍스트로 입력받아 후보 명령어들에 대한 확률을 계산하고 가장 높은 확률의 명령어를 즉시 선택하는 방식을 취한다. Mica는 0개의 토큰을 생성하며, Mindcraft의 라이브러리를 활용해 Mineflayer 봇으로 게임 내 명령을 실행한다. 빈 인벤토리에서 철 곡괭이 제작까지 총 23번의 의사결정이 필요했으며, 의사결정당 약 90~150ms의 시간이 소요되었다. 해당 테스트는 llama.cpp 기반의 Q5_K_M 양자화 모델을 사용해 RTX 3090 환경에서 구동되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.