참고Reddit
플로피 디스크에 들어가는 367K 파라미터 DOS용 LLM 구현 사례
Fable 5.2(페이블 5.2)와 Opus 5.5(오푸스 5.5)를 활용해 극단적인 경량화 모델을 생성한 기술적 실험. 로컬 LLM의 한계치 탐구 차원에서 흥미로운 프로젝트.
요약
한 사용자가 Claude 모델들을 활용해 DOS 환경에서 구동 가능한 초소형 언어 모델을 개발하여 Reddit에서 화제를 모으고 있다. 이 프로젝트는 Fable 5.2가 트랜스포머 구조를 설계하고 Opus 5.5가 약 3500개의 데이터셋을 생성하는 방식으로 진행되었다. 해당 모델은 367K 파라미터 규모로 8비트 정수 가중치를 사용하여 프로그램과 데이터를 합쳐 약 435KB의 크기로 구성된다. 덕분에 Intel Pentium 기반의 DOS 환경에서 실행 가능하며, 플로피 디스크에 저장할 수 있을 정도로 용량이 작다. 다만 학습한 범위 내의 단어나 사실 관계는 잘 처리하지만, 복잡하거나 긴 문장 입력 시에는 정상적인 답변을 생성하지 못하는 한계가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Claude wrote and trained a language model for DOS that fits on a floppy disk
원문 보기 ↗