프랑스 스타트업 Kog, GPU 추론 속도 최적화 엔진 'KIE' 공개
기존 데이터센터 GPU에서 추론 속도를 획기적으로 개선. Claude Code 등 에이전트 작업 시 지연 시간 문제 해결의 대안이 될지 주목할 만함.
요약
프랑스 스타트업 Kog는 전용 칩 없이 기존 데이터센터용 GPU인 AMD MI300X와 NVIDIA H200 등에서 AI 추론 속도를 획기적으로 높이는 소프트웨어 최적화 기술을 공개했다. 지난 5월 해커 뉴스에서 주목받은 이 기술은 기업들이 이미 보유한 하드웨어의 활용성을 극대화하여 추론 속도와 비용 문제를 해결하는 데 초점을 맞췄다. CEO Gaël Delalleau는 이 발표 이후 200건 이상의 비즈니스 리드를 확보했으며, 소프트웨어 엔지니어링 및 AI 워크플로우를 사용하는 전문 분야를 주요 타깃으로 삼고 있다. 특히 Claude Code와 같이 처리 시간이 오래 걸리는 작업에 Kog Inference Engine(KIE)을 도입하면 효율적인 결과 도출이 가능하다. 현재 이 회사는 사용자가 프롬프트로 게임이나 앱을 생성하는 환경에서 더 빠른 처리 속도를 통해 수익을 증대시키려는 설계 파트너들과 협력 중이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Kog is going deeper to squeeze more inference out of GPUs
원문 보기 ↗