중요팁Hacker News
LoRA Speedrun 공개: 파인튜닝 속도 벽시계 리더보드 등장
동일 하드웨어·작업 고정으로 시퀀스 패킹, 손실 마스킹 등 실전 최적화 기법 검증에 유용
요약
LoRA Speedrun은 고정된 하드웨어와 작업 환경에서 LLM 파인튜닝 속도를 경쟁하는 공개 리더보드다. L40S GPU 단일 환경에서 Qwen2.5-1.5B 모델을 사용하여 GSM8K 데이터셋 기준 57% 이상의 정확도를 달성하는 시간을 측정한다. 현재 기록은 시퀀스 패킹과 completion-only loss masking 기법을 적용해 2 에폭을 학습한 6분 5초가 최고 기록이다. Modal의 L40S 샌드박스를 통해 누구나 무료로 실험에 참여하고 타인의 기록을 검증할 수 있다. 참가자는 LoRA 랭크, 양자화, 데이터 선택, 커스텀 커널 등 모든 튜닝 옵션을 자유롭게 제어할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LoRA Speedrun – a public wall-clock leaderboard for fine-tuning techniques
원문 보기 ↗