참고팁Reddit
소형 LLM 에이전트 성능 강화 런타임 'Speck' 공개
프롬프트 내 인지 과정을 런타임 소프트웨어로 분리해, 로컬 모델의 추론 능력을 비약적으로 향상시키는 방법론.
요약
Speck은 소형 언어 모델(SLM)의 인지 기능을 프롬프트가 아닌 영구적이고 결정론적인 소프트웨어 런타임으로 구현하여 성능을 극대화하는 프레임워크입니다. 이 기술은 메모리, 계획, 증거 추적, 메타인지 등의 인지 메커니즘을 모델 외부의 런타임으로 옮겨 모델 자체가 소모품처럼 교체 가능하도록 설계되었습니다. 워커는 작업을 중단하거나 다른 컴퓨팅 장치로 이동해도 기존의 인지 상태를 잃지 않고 작업을 지속할 수 있습니다. 실제 테스트 결과, Qwen3:4b 모델에 Speck을 적용했을 때 기존 Qwen3:8b 모델보다 빠른 속도와 높은 정확도를 기록했습니다. 구체적으로 Speck을 적용한 Qwen3:4b는 16점 만점에 15점을 획득하며, 동일 환경의 8b 모델(13점) 대비 우수한 성능을 절반의 시간 안에 달성했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Speck attempts to turn small LLMs into capable persistent agents by implementing cognition in software instead of repeatedly asking the LLM to simulate it.
원문 보기 ↗