참고Reddit
밑바닥부터 구현한 LLM 학습 스택 공개…PyTorch만으로 Pretrain·SFT·DPO·GRPO 전 과정
RoPE·RMSNorm·GQA·KV캐시까지 순수 구현. LLM 내부 동작 학습·커스텀 파인튜닝 레퍼런스로 유용
원문 제목 Text-LLM-Training-from-scratch
원문 보기 ↗RoPE·RMSNorm·GQA·KV캐시까지 순수 구현. LLM 내부 동작 학습·커스텀 파인튜닝 레퍼런스로 유용
원문 제목 Text-LLM-Training-from-scratch
원문 보기 ↗