참고ZDNet Korea
래블업, 29일 '랩업 콘프 6' 개최…LLM 관제·인프라 최적화 논의
토큰 사용량 제어 및 인프라 최적화 등 LLM 서빙 엔지니어를 위한 기술 컨퍼런스.
요약
래블업은 오는 29일 코엑스에서 '랩업 콘프 6'를 개최하고 AI 모델과 인프라를 결합하는 통합 운영 전략인 '메이크 AI 컴포저블'을 공개한다. 이번 행사에서 기업이 목적과 비용에 맞춰 다양한 AI 모델과 가속기를 하나의 환경에서 관리할 수 있도록 돕는 '컨티뉴엄 라우터'와 '컨티뉴엄 허브'를 선보일 예정이다. 이는 여러 모델로 요청을 분배하고 토큰 사용량을 효율적으로 관리하는 '토큰팩토리' 개념을 구현하는 핵심 기술이다. 래블업은 AI 산업의 중심이 학습용 GPU 구축에서 서비스 운영으로 이동함에 따라 추론 최적화와 멀티클라우드 환경 통합 관리의 중요성을 강조한다. 기조연설에는 신정규 래블업 대표가 나서 엔드투엔드 AI 플랫폼의 필요성을 발표하며, 김준기 CTO를 비롯한 국내 주요 기업 기술 리더들이 패널 토론을 통해 인프라 효율화 방안을 논의할 계획이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 래블업이 제시한 AI 모델·인프라 통합 운영 전략은
원문 보기 ↗