참고Reddit
1800년대 텍스트만으로 처음부터 학습한 LLM 실험…160GB·40B 토큰 데이터셋 구축
도메인·시대 한정 데이터로 사전학습하는 실험 사례. 특화 코퍼스 파인튜닝 관심 있으면 참고.
원문 제목 Training an LLM from scratch on 1800's texts (160GB dataset)
원문 보기 ↗도메인·시대 한정 데이터로 사전학습하는 실험 사례. 특화 코퍼스 파인튜닝 관심 있으면 참고.
원문 제목 Training an LLM from scratch on 1800's texts (160GB dataset)
원문 보기 ↗