LLM으로 구현한 Doom: 로컬 GPU에서 실행 가능한 기술적 구현
학습 없이 Transformer 가중치로 렌더링 엔진을 컴파일한 기술적 사례로, LLM의 연산 구조 활용법을 익히기에 유용합니다.
요약
최근 Reddit의 r/LocalLLaMA 커뮤니티에서 LLM을 이용해 게임 'Doom'을 구동한 사례가 화제가 되고 있습니다. 개발자는 직접 제작한 컴파일러 'torchwright'를 사용하여 학습 과정 없이 Doom의 렌더링 알고리즘을 Transformer 가중치로 이식했습니다. Phi3ForCausalLM 아키텍처를 기반으로 프롬프트에 레벨 정보와 플레이어 위치를 입력하면 모델이 드로잉 명령을 생성하고, 이를 43줄의 호스트 프로그램이 픽셀로 변환하는 방식입니다. 공개된 체크포인트는 320x200 해상도(21B 파라미터, 85.87GB)와 80x50 해상도(34GB) 두 가지 버전이 있습니다. 320x200 버전의 경우 B200 GPU 기준 프레임당 약 40분이 소요되며, 개발자는 실제 로컬 구동이 아닌 클라우드 GPU 환경에서 테스트를 진행했다고 밝혔습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Doom running on an LLM -- Hugging Face checkpoint included
원문 보기 ↗