참고팁ZDNet Korea
엔비디아, 로컬 PC 유휴 GPU 활용하는 오픈소스 도구 'PAIR' 공개
여러 대의 PC 자원을 연결해 분산 추론 환경을 구축할 수 있게 하여, 개인/기업용 로컬 LLM 인프라 효율성을 높일 수 있음.
요약
엔비디아가 4일 유휴 PC GPU 자원을 활용해 AI 추론을 분산 처리하는 오픈소스 소프트웨어 'PAIR(퍼스널 AI 라우터)'를 공개했다. PAIR는 올라마(Ollama)와 LM스튜디오(LM Studio)를 지원하며, 내부 네트워크로 연결된 여러 PC에 AI 워크로드를 분산해 에이전틱 AI 작업을 효율적으로 수행하도록 돕는다. 단, 여러 GPU 메모리를 통합해 하나의 대형 GPU처럼 사용하는 방식이 아니라, 개별 추론 요청을 여유 있는 시스템으로 전달하여 처리하는 방식이다. 이를 통해 사용자는 메인 PC에서 게임이나 작업 중에도 다른 PC의 유휴 자원을 로컬 AI 인프라로 전환해 처리량을 높일 수 있다. 지원 대상은 엔비디아 지포스 RTX 20 시리즈 이후 GPU, RTX 프로 워크스테이션, 애플 M4 이후 칩셋 등이며 윈도, 맥OS, 리눅스 환경에서 사용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 엔비디아, 유휴 PC GPU로 AI 추론 분산하는 'PAIR' 공개
원문 보기 ↗