OpenArch: 최신 LLM 아키텍처 학습용 PyTorch 구현 저장소 공개

요약

OpenArch는 최신 오픈소스 LLM 아키텍처를 PyTorch로 직접 구현한 저장소로, Sebastian Raschka의 LLM Architecture Gallery에 나열된 모델들을 다룬다. 복잡한 운영 최적화 코드를 배제하고 가독성에 집중하여 어텐션 방식, 정규화, MoE 라우팅 등 구조적 차이를 한눈에 비교할 수 있도록 설계되었다. 각 모델은 독립된 폴더에서 model.py와 설명 README.md로 제공되며, 원본 논문과 기술 보고서를 바탕으로 작성되었다. 현재 ✅ 표시된 모델은 포워드 패스(forward pass)가 가능하며, 🚧 표시된 모델은 개발 중인 상태다. 프로덕션 라이브러리가 아닌 학습용 목적으로 제작되었으며, 기여자를 활발히 모집하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.