Google 엔지니어가 공개한 로컬 LLM 파인튜닝 워크플로우 (Gemma 270M 활용)

요약

구글 엔지니어가 스마트폰 환경에서 소형 언어 모델(LLM)인 Gemma 270M을 21분 만에 46%에서 90% 정확도로 파인튜닝하는 방법을 공개했다. 핵심 작업 프로세스는 Gemma 270M 모델 선택, 합성 작업 데이터 생성, LoRA를 활용한 파인튜닝, int4 양자화 순으로 진행된다. 이렇게 완성된 모델은 픽셀 스마트폰에 배포되어 초당 2000 토큰의 속도로 작동하며, 오프라인 환경에서도 완벽하게 구동된다. 특정 작업에 최적화된 소형 모델이 대형 모델(70B)보다 나은 성능을 낼 수 있음을 입증했으며, 고가의 온디바이스 AI 교육 과정을 대체할 수 있는 효율적인 기술 스택을 제시했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.