참고팁Reddit
로컬 LLM으로 구현하는 실시간 2인 대담 팟캐스트 파이프라인
검색, 스크립트, 음성 합성까지 6초 내외로 처리하는 로컬 환경의 실시간 파이프라인 구축 노하우.
요약
최근 Reddit LLMDevs에서 화제가 된 프로젝트는 대본 생성이 완료되기 전에 음성을 스트리밍하여 실시간 방송처럼 들리게 하는 2인 팟캐스트 파이프라인을 구현했다. 해당 시스템은 토픽, 검색, 대본, 음성, 송출의 과정을 거치며, 검색은 6개의 소스를 약 3초 만에 처리한다. 대본 생성은 30B MoE 모델(활성 파라미터 3B, 양자화)을 활용하며, 음성 생성에는 AntLing의 Ming 3.0 TTS 0.5B 모델이 사용된다. 두 대의 하드웨어 장비는 200 Gb/s로 연결되어 있으며, 장비 2번 기준 122 GB 메모리 중 49 GB를 사용해 시스템을 구동한다. 이 파이프라인은 토픽 입력부터 첫 음성 송출까지 6초 미만의 짧은 지연 시간을 기록한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Start the voices before the script is finished: a streaming two-host podcast pipeline on local hardware
원문 보기 ↗