RTX 4060 노트북에서 초당 1,319토큰 달성: 경량 학습 런타임 'MOLT' 성능 벤치마크

요약

소비자용 게이밍 노트북에서 LLM 파인튜닝 시 발생하는 발열 및 메모리 제약을 해결하기 위한 윈도우 전용 학습 런타임 'MOLT'가 공개되었다. 최근 NVIDIA RTX 4060 8GB 노트북 GPU 환경에서 Qwen2.5-1.5B 모델을 대상으로 1시간 동안 연속 학습을 진행하는 내구성 벤치마크를 수행했다. 해당 테스트 결과, 3GB VRAM 사용 및 70°C 이하의 온도 상태를 유지하며 1,319 tok/s의 속도로 안정적인 학습 성능을 기록했다. 기존 런타임이 높은 전력 소모와 급격한 온도 상승으로 인한 스로틀링이나 크래시를 유발했던 것과 대조적인 성과다. 이번 벤치마크는 28개 레이어 전체 학습(9.23M 활성 LoRA 파라미터, 컨텍스트 512, 배치 1, 어큐뮬레이션 4, FP32 AdamW) 조건으로 진행되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.