참고팁Reddit
계산 그래프를 트랜스포머 가중치로 직접 변환하는 컴파일러 'Torchwright' 공개
학습 없이 파이썬 그래프를 트랜스포머 모델로 직변환하는 실험적 도구. 모델 내부 구조 연구용으로 유용함.
요약
최근 Reddit의 r/MachineLearning에서 학습 과정 없이 일반적인 파이썬 연산 그래프를 바닐라 트랜스포머의 가중치로 변환해주는 컴파일러인 'torchwright'가 공개되었다. 이 도구는 별도의 학습 과정 없이 연산 그래프를 정의하면 이를 실행 가능한 Phi-3 아키텍처 기반의 체크포인트로 변환한다. 생성된 결과물은 Hugging Face에서 별도의 커스텀 코드나 'trust_remote_code' 설정 없이 즉시 로드할 수 있다. 기존의 RASP나 Tracr와 같은 방식이 가진 한계를 극복하기 위해 개발되었으며, 현재 12개의 실행 가능한 예제 코드가 GitHub 저장소를 통해 제공된다. 트랜스포머가 학습할 수 있는 능력과 별개로 실제 어떤 알고리즘을 표현할 수 있는지 탐구하고자 하는 연구자들에게 유용한 도구가 될 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built a compiler that turns computation graphs into the weights of a vanilla transformer — no training anywhere [P]
원문 보기 ↗