참고팁Hacker News
로컬 환경에서 결정 모델 실행기 'Ollaya' 출시
Jev 방식의 분류 모델을 로컬 GPU에서 추론 지연 시간 없이 실행 가능하게 하는 도구로, 로컬 인프라 구성 시 고려.
요약
Ollaya는 오픈소스 결정 모델을 로컬 환경에서 실행할 수 있게 해주는 도구로, 텍스트나 JSON 데이터를 입력하면 밀리초 단위로 정교한 답변을 제공한다. 토큰별 생성 방식이 아닌 단일 순방향 패스(forward pass) 방식을 사용하여, NVIDIA RTX 4090 환경에서 5개의 질문을 처리하는 데 약 10ms의 지연 시간만을 기록한다. Convai Innovations가 제공하는 Laya 모델을 지원하며, 추후 GGUF 기반의 결정 모델까지 확장될 예정이다. TypeSafe Python SDK 0.7.1과 호환되어 기존 시스템을 그대로 활용할 수 있고, 민감한 데이터를 외부 서버로 보낼 필요 없이 로컬 머신의 ONNX Runtime 환경에서 안전하게 처리 가능하다. 가중치는 Hugging Face 저장소에서 직접 다운로드하며 Apache-2.0 라이선스를 따른다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Ollaya – Ollama for open-source, Jev-style decision models
원문 보기 ↗