수학 연산 최적화: 트랜스포머 가중치 수동 제어로 산술 정확도 100% 구현

요약

최근 Reddit에서 트랜스포머 모델의 연산 능력 한계를 극복하기 위해 학습 없이 가중치를 직접 설정하여 곱셈 정확도를 100%로 구현한 사례가 공개되었다. 개발자는 Torchwright라는 컴파일러를 사용하여 초등학교 수준의 곱셈 알고리즘을 계산 그래프 형태로 구현하고, 이를 Phi-3 Hugging Face 체크포인트로 변환했다. 이 모델은 3자리 곱셈 연산 300만 개를 모두 정확하게 수행하며, 최대 12자리 곱셈까지 지원하는 체크포인트를 Hugging Face에 배포했다. 기존의 6개 프론티어 모델을 대상으로 동일한 곱셈 테스트를 진행한 결과, 7자리 곱셈부터는 정확도가 급격히 하락해 0점을 기록한 것과 대비된다. 이번 실험은 트랜스포머 구조 내에 알고리즘을 직접 주입할 경우 복잡한 연산도 완벽히 수행할 수 있음을 증명했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.