OpenAI 'Astra' 모델 루머 분석: Looped Transformer 아키텍처의 기술적 원리

요약

최근 OpenAI의 Astra 모델이 '루프형 트랜스포머(looped transformer)' 구조를 채택했다는 보도로 주목받고 있으나, 이는 이미 알려진 기술적 변형에 불과하다. 루프형 트랜스포머는 가중치를 복제하지 않고 기존 레이어 스택을 재사용하여 모델의 용량을 늘리는 방식으로, Nanbeige4.2-3B 모델 등에서 이미 활용된 바 있다. 이 구조는 모델의 파라미터 수를 늘리지 않아 저장 공간과 RAM 사용량을 절약하지만, 동일한 데이터를 여러 번 통과시키므로 연산 비용은 증가한다. 실제로 Nanbeige 4.2 기술 보고서에 따르면 2회 반복 시 표준 아키텍처 대비 토큰 효율의 75%를 유지하는 최적의 성능을 보였다. 해당 기술은 NeurIPS의 'Mixture-of-recursions' 논문 등에서 이미 제시된 개념으로, 토큰 난이도에 따라 처리 횟수를 조절하는 방식 등으로 발전해 왔다. 따라서 Astra의 루프형 트랜스포머 도입을 모델의 추론 과정을 모호하게 만드는 획기적인 변화로 해석하는 것은 다소 과장된 측면이 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.