RTX 3050 6GB에서 로컬 LLM 도구 호출 성능 테스트 (5개 모델 비교)

요약

한 사용자가 RTX 3050 6GB VRAM 환경에서 브라질 포르투갈어 음성 비서를 로컬 에이전트로 업그레이드하기 위해 Ollama 모델 5종의 툴 콜링(Tool Calling) 기능을 벤치마킹했다. 목표는 STT 모델인 Whisper와 GPU 자원을 공유하면서 1초 내에 명령을 수행하는 로컬 환경을 구축하는 것이다. 테스트에는 조명 제어, 화면 설정, 상태 확인 등 11가지 도구를 제어하는 실제 음성 명령 52개가 사용되었다. 제한된 VRAM 환경에서 로컬 음성 비서의 실시간성과 정확한 함수 호출 능력을 검증하려는 시도로, 모델 선택을 위한 구체적인 데이터를 확보하고자 했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.