신규 모델 'Flint'와 Qwen3.5(큐원 3.5) 아키텍처 기술 비교 분석

요약

최근 공개된 AI 모델 Flint를 Qwen3.5-35B-A3B와 비교 분석한 결과, 두 모델은 2048차원의 히든 스테이트와 256개의 라우팅 전문가를 사용하는 등 핵심 트랜스포머 아키텍처가 매우 유사한 것으로 나타났다. Flint는 49개 레이어를 기반으로 3개의 슬라이딩 윈도우와 1개의 풀 어텐션을 반복하는 구조를 사용해 정밀한 로컬 호출에 집중하는 반면, Qwen3.5는 압축된 순환 메모리를 활용하는 Gated DeltaNet 방식으로 장기 기억에 강점을 보인다. MoE 전략에서도 차이를 보이는데, Flint는 Top-6 활성화와 1024차원의 대형 공유 전문가를 선호하는 반면, Qwen3.5는 Top-8 활성화와 동적 게이트 공유 전문가를 채택했다. Flint는 안정적인 아키텍처 재조합을 통해 코딩 벤치마크에서 뛰어난 성능을 보였으나, MMLU-Pro나 GPQA 등 일반 목적의 종합 평가 결과는 아직 공개되지 않았다. 결론적으로 Flint는 혁신적인 구조보다는 검증된 컴포넌트를 전략적으로 결합한 보수적이고 안정적인 설계를 택한 모델로 평가된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.