참고팁Hacker News
4GB VRAM GPU에서 8B 모델 파인튜닝 가능한 'Soup' v0.72.4 공개
레이어 스트리밍 기술을 적용해 로컬 환경에서도 LLM 파인튜닝 워크플로우를 대폭 단순화함.
요약
Soup은 LLM 파인튜닝과 포스트 트레이닝 과정을 단일 명령어와 설정으로 간소화하여 인프라 구축의 어려움을 해결하는 도구입니다. 최신 업데이트된 v0.72.4 버전은 VRAM 사용량을 최소화하는 레이어 스트리밍 기술을 통해 4GB GPU 환경에서도 8B 모델을 DPO, ORPO, SimPO, KTO 방식으로 학습할 수 있도록 지원합니다. 또한, JSONL 기반의 참조 데이터를 사용하여 결정론적 검증기를 생성하고, 정확성 및 형식 등을 포함한 보상 앙상블 학습이 가능합니다. 다만 v0.72.0 버전에서 발생한 어댑터 저장 오류는 v0.72.1에서 수정되었으므로 해당 버전을 사용 중이라면 재학습이나 재저장이 필요합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Show HN: Fine-tune an 8B model on a 4 GB laptop GPU
원문 보기 ↗