참고Reddit
CPU 네이티브 1비트 트랜스포머 학습 런타임 'GhostBit' 공개
GPU 대신 CPU에서 W1(이진 가중치) 모델을 학습시키기 위한 C++20 기반 실험적 프로젝트. 엣지 AI나 저사양 서버 최적화 연구에 참고할 만함.
요약
GhostBit은 CPU 환경에서 소형 트랜스포머 언어 모델을 학습시키기 위해 개발된 C++20 기반의 실험적 런타임 프로젝트입니다. PyTorch나 llama.cpp의 래퍼가 아닌 독자적인 인프라를 구축하였으며, 내부 선형 가중치를 {-1, +1}로 제한하는 strict-W1 방식을 채택했습니다. 이 프로젝트는 기존의 고밀도 부동 소수점 GPU 연산 대신, CPU의 강점을 극대화한 학습 및 추론 구조를 목표로 합니다. 주요 기능으로는 W1/A8 및 W1/A1 실험적 경로 지원, AVX2 지향 커널, 정확도 테스트 및 그래디언트 체크 도구 등이 포함되어 있습니다. 현재 개발자는 프로젝트 일시 중단을 앞두고 기술적 피드백을 구하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built a CPU-native strict-W1 Transformer training runtime in my spare time — looking for honest technical feedback before I pause the project
원문 보기 ↗