LLM 추론 엔진 런타임 'Resin' 공개: 에이전트로 커널 생성 및 배포

요약

개인 프로젝트로 개발 중인 Resin은 빠른 LLM 추론 엔진 구축을 위한 런타임으로, 추론의 범용적인 부분을 재사용하고 모델별 포워드 패스와 커널만 작성하면 되는 구조를 제공한다. 사용자는 Resin 코어를 임포트한 뒤 에이전트를 통해 특정 하드웨어(GPU, TPU, AMD 등)에 최적화된 포워드 패스와 커널을 구현하여 독립적인 추론 엔진을 만들 수 있다. DeepSeek-V4.1-Flash 모델 테스트 결과 DeepInfer 대비 5~10% 수준의 속도를 기록했으며, 메트릭, HTTP 서버, 프리픽스 캐시 등을 지원한다. 특히 GLM-5.3-Flash 엔진을 에이전트로 빌드했을 때 B200(EP4) 환경에서 입력 60,000 tok/s, 출력 16,000 tok/s의 성능을 달성했다. Resin은 복잡한 스케줄러와 서버 계층을 재구현할 필요 없이 공유 코어를 활용해 추론 엔진 구축을 자동화함으로써 모델 개발의 효율성을 높이는 것을 목표로 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.