참고팁Reddit
하드웨어 최적화 SLM 학습 도구 'SLM-CREATOR' 개발자, 커뮤니티 벤치마크 협력 요청
로컬 환경별 GPU 인식 및 TFLOPS 측정 로직 검증이 필요한 프로젝트로, 로컬 LLM 개발자들의 기술적 참여 가치가 있음.
요약
15세 개발자가 100M 파라미터 이하의 소형 특화 모델(SLM)을 위한 하드웨어 인식 학습 프레임워크인 'SLM-CREATOR'를 파이썬과 러스트로 직접 개발 중이다. 이 프로젝트는 기존 라이브러리나 래퍼를 사용하지 않고 토크나이저부터 학습 루프까지 전 과정을 밑바닥부터 직접 구현하여 시스템 구조를 학습하는 것을 목표로 한다. 현재 개발자가 CPU 환경에서만 작업하여 GPU 감지 및 벤치마크 코드 검증이 필요한 상황이다. 다양한 NVIDIA 및 AMD GPU 환경을 사용하는 개발자들에게 프로젝트 저장소의 테스트 실행 및 피드백을 요청하고 있다. 실무자들은 하드웨어별 성능 최적화와 관련된 코드 구조를 살펴보고 기여할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 [Help Wanted] Testing GPU detection & TFLOPS benchmark paths (NVIDIA/AMD) for my from-scratch SLM trainer
원문 보기 ↗