참고팁Reddit
로컬 LLM 구동 가능한 오픈소스 iOS 앱 'Pocket AI Lab' 공개
온디바이스에서 GGUF 모델을 쉽게 실행할 수 있는 오픈소스 툴. 아이폰 내에서 로컬 모델을 즉시 테스트하기에 적합.
요약
Pocket AI Lab은 클라우드 연결 없이 아이폰 기기 내에서 LLM을 완전히 구동할 수 있는 오픈 소스 iOS 앱을 출시했다. MIT 라이선스를 따르는 무료 앱으로, 사용자의 데이터가 외부로 유출되지 않으며 별도의 계정 가입도 필요하지 않다. 사용자는 Hugging Face 링크를 붙여넣거나 .gguf 파일을 직접 가져와 모델을 실행할 수 있으며, 앱은 다운로드 전 모델의 포맷과 기기 호환성 여부를 자동으로 분석해 준다. 아이폰의 통합 메모리와 ARM 칩 성능을 활용하여 4비트 양자화 모델을 원활하게 구동하는 것이 특징이다. 개발자는 새로운 모델 발표 후 사용자가 즉시 모바일에서 대화를 시작할 수 있는 효율적인 워크플로우 구축을 목표로 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built an open source iOS app that runs LLMs fully on-device with three backends, MIT licensed and free
원문 보기 ↗