참고Reddit
AWS 크레딧 환경에서의 로컬 LLM 멀티 에이전트 인프라 구축 고민
특정 인프라 제약 조건에서 대규모 멀티 에이전트 시스템을 운영하기 위한 모델 선택과 환경 구성에 대한 기술적 논의.
요약
한 사용자가 AWS Activate 크레딧 1만 달러를 활용해 다중 에이전트 오케스트레이터 환경을 자체 호스팅하려는 계획을 공유했습니다. 기존 Fireworks 환경에서 월 90억~150억 토큰을 처리하며 90~98%의 캐시 적중률을 기록했던 경험을 바탕으로, 20개 이상의 페르소나와 1,000개 이상의 스킬을 갖춘 Hermes 에이전트 시스템을 AWS 인프라로 이전하고자 합니다. 현재 AWS 계정의 Bedrock 접근 권한이 제한된 상태라 모델 사용에 어려움을 겪고 있으며, 지원 팀의 쿼터 초기화를 기다리는 중입니다. 실무자는 멀티모달 모델 하나와 Mem0용 임베딩 모델을 AWS 내에서 구동할 수 있는 최적의 대안을 찾고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Self-hosting Qwen3.8-Flash-Next (or a smaller alternative) for a heavy multi-agent Hermes setup on $10k of AWS credits, looking for options I've missed
원문 보기 ↗