Zyphra, 긴 컨텍스트 윈도우 효율 높이는 계층적 어텐션(ZHA) 공개

요약

AI 스타트업 ZyphraAI가 새로운 어텐션 메커니즘인 Zyphra Hierarchical Attention(ZHA)을 공개했다. ZHA는 기존의 모든 토큰을 확인하는 방식 대신, 압축된 요약 트리 구조를 활용해 필요한 정보를 찾아내는 것이 핵심이다. 이를 통해 극도로 긴 컨텍스트 윈도우(context window)를 처리할 때 효율성을 획기적으로 높일 수 있다. 특히 긴 문맥 처리 상황에서도 강력한 추론 및 코딩 성능을 유지하는 것이 장점이다. 아직 초기 연구 단계이나, 향후 LLM의 효율적인 대용량 데이터 처리에 중요한 대안이 될 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.