참고팁Reddit
Hillock v0.6.0: 엣지 하드웨어용 10,000차원 HDC 메모리 게이팅 아키텍처 공개
리소스 제약 환경에서 쿼리 번들링 성능을 개선하는 ColBERT 스타일의 Late-Interaction 구현 사례입니다.
요약
Hillock v0.6.0는 1.2GB 미만의 VRAM이나 CPU 환경에서도 구동 가능한 로컬 신경 기호 메모리 엔진으로, 최신 업데이트를 통해 ColBERT 방식의 Late-Interaction(MaxSim) 구조를 10,000차원 이극성 HDC(Hyperdimensional Computing)에 성공적으로 적용했다. 기존 버전에서는 쿼리 토큰을 하나의 하이퍼벡터로 묶는(Bundling) 과정에서 쿼리 길이가 길어질수록 분산이 커져 유사도 게이트 성능이 저하되는 문제가 있었다. 이를 해결하기 위해 이번 업데이트에서는 쿼리 토큰을 개별적으로 처리하여 MaxSim 연산을 수행함으로써, 다중 단어 쿼리에 대한 검색 정확도를 크게 개선했다. Hillock은 표준 밀집 벡터 임베딩 대신 SQLite 지식 그래프와 10,000차원 벡터 기호 아키텍처(VSA), Hebbian 연상 메모리를 결합하여 엣지 디바이스에서의 메모리 게이팅 최적화를 구현했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Adapting ColBERT-style Late-Interaction (MaxSim) to 10,000-D Bipolar HDC for edge memory gating
원문 보기 ↗