1.5시간 만에 학습한 소형 트랜스포머, ARC-AGI에서 기존 LLM 능가

요약

한 개발자가 NVIDIA 5090 환경에서 1.5시간 만에 소형 트랜스포머 모델을 학습시켜 다수의 거대 언어 모델(LLM)을 능가하는 성능을 기록했다. 이번 연구는 ARC-AGI 과제에서 샘플 효율성을 극대화하고 학습 비용을 절감하는 것을 목표로 진행되었다. 기존 방식과 달리 입력 토큰을 학습하지 않고 출력 토큰만으로 손실 함수를 계산하는 지도 학습 방식으로 전환하여 성능을 40%에서 44%로 개선했다. 개발자는 모델의 샘플 효율성 한계를 파악하고 누구나 접근 가능한 저비용 연구 환경을 구축하는 것을 핵심 과제로 삼고 있다. 향후 트랜스포머 아키텍처의 한계를 돌파하기 위한 새로운 연구 아이디어를 지속적으로 탐색할 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.