자이프라, 계층적 어텐션(ZHA) 공개…1000만 토큰 처리 35배 가속

요약

미국 AI 스타트업 자이프라(Zyphra)가 초장문 문맥 처리 속도를 획기적으로 개선하는 희소 어텐션 기술인 '자이프라 계층적 어텐션(ZHA)'을 아카이브를 통해 공개했다. 이 기술은 전체 문서를 검색하는 대신 정보를 계층적으로 구조화하여 필요한 부분만 탐색하는 방식을 채택했다. 자이프라는 이를 통해 1000만 토큰에 달하는 초장문 처리 시 기존 어텐션 방식 대비 최대 35배 빠른 속도를 낼 수 있다고 밝혔다. 이번 기술은 트랜스포머 모델의 고질적인 문제인 연산 부담을 줄이는 데 기여할 것으로 전망된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.