참고팁Reddit
Qwen 27B 기반 장기 에이전트 작업용 로컬 LLM 구축 사례
vLLM과 Docker를 활용해 512K 컨텍스트를 확보한 로컬 에이전트 서빙 환경 구성 가이드.
요약
Reddit 사용자 'Smart-Skin-2346'이 4개월간 구축한 로컬 AI 서버 'ATLANTIS'를 공개했다. 해당 시스템은 Debian 13 기반의 vLLM Docker 컨테이너 환경에서 구동된다. 첫 번째 GPU는 Qwen/Qwen3.8-27B 모델을 512K 컨텍스트 윈도우로 실행하여 장기 실행 에이전트 작업에 활용한다. 두 번째 GPU는 동일 모델을 262K 컨텍스트 윈도우로 배포해 에이전트 위임 작업(--max-num-seqs 8)을 수행하도록 구성했다. 세부 하드웨어 구성과 설정 파일인 vLLM Docker 파일 등은 PCPartPicker 및 GitHub Gist를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 After four months of slowly bringing it to life, here is ATLANTIS.
원문 보기 ↗