참고팁Reddit
로컬 LLM을 활용한 개인용 AI 전화 에이전트 구축 사례
외부 API 의존 없이 로컬 모델(MLX)과 파이프라인으로 구현한 프라이버시 보호형 전화 에이전트.
요약
최근 제3자 업체에 개인 통화 기록과 음성이 저장되는 기존 AI 전화 에이전트의 프라이버시 문제를 해결하고자, 완전한 로컬 환경에서 구동되는 AI 전화 에이전트가 개발되었습니다. 해당 시스템은 애플 실리콘 환경에서 MLX 프레임워크를 기반으로 작동하며, 모든 대화 데이터가 로컬 기기 내에서만 처리되도록 설계되었습니다. 구체적으로 음성 인식(STT)에는 Parakeet TDT 0.6B, LLM으로는 Qwen3.5 4B(32GB RAM 이상은 9B), 음성 합성(TTS)에는 Kokoro 82M 모델이 활용됩니다. 통화 연결은 SIP 프로토콜을 통해 Telnyx 서비스를 이용하며, 이를 통해 외부 서버를 거치지 않고 직접적인 전화 통화가 가능합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I gave my local LLM a real phone number to make calls for me (open-source)
원문 보기 ↗