참고Reddit
신규 아키텍처 'Pathway BDH-CQ' 공개, 150M 파라미터로 ARC-AGI-1 29.5% 달성
트랜스포머 기반이 아닌 순환 메모리 구조로 저비용 고효율 추론 가능성을 입증한 사례. 가벼운 로컬 모델 아키텍처 최적화에 참고할 만함.
요약
Pathway가 1억 5천만 파라미터 규모의 새로운 포스트 트랜스포머 모델인 BDH-CQ를 공개하며 새로운 비용 효율성 기준을 제시했다. 이 모델은 ARC-AGI-1 벤치마크에서 29.5%의 점수를 기록했으며, 작업당 계산 비용은 0.0007달러에 불과하다. 긴 토큰 기반의 사고 과정 대신 순환 메모리와 잠재적 추론(latent reasoning) 구조를 활용하여 메모리 효율성을 극대화했다. 이번 모델 개발에는 OpenAI 연구원이자 트랜스포머 공동 저자인 Lukasz Kaiser가 투자자 및 자문으로 참여했다. 대형 AI 연구소가 아닌 곳에서 개발된 이 아키텍처는 최근 Andrew Curran이 암시했던 메모리 효율성 혁신과 일치하는 것으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Did Pathway just reveal the architecture breakthrough Andrew Curran predicted? Its 150M model sets a new ARC-AGI-1 cost-efficiency frontier
원문 보기 ↗