참고X
플로피 디스크 부팅 환경에서 구동하는 초소형 AI 모델 'TINY 2.1'
매우 제한된 리소스 환경에서의 모델 구동 사례로, 경량화 및 온디바이스 AI 연구에 영감을 주는 흥미로운 실험.
요약
ChatGPT의 핵심인 트랜스포머 모델이 1990년대 구형 노트북에서 플로피 디스크를 통해 구동되는 사례가 공개됐다. Fable 5.2가 코드를 작성하고 Opus 5.5가 약 3,500개의 사실 데이터를 학습시켜 'TINY 2.1' 모델을 구현했다. TINY 2.1은 매개변수(스위치)가 367,000개에 불과해 오늘날 수십억 개 이상의 매개변수를 가진 대규모 언어 모델과 대비된다. 이 모델은 학습한 데이터에 대해서만 답변하며, 모르는 질문에는 미국 수도를 아바나라고 답하는 등 자신 있게 환각 현상을 보인다. 개발자는 1인 체제에서 두 개의 모델과 90년대 노트북만으로 이 실험을 성공시켰다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @VaibhavSisinty: Wild, The world is changingg A transformer is the AI brain inside tools like ChatGPT. Now one is running on a computer from the 19
원문 보기 ↗