참고Reddit
Jeff Dean이 말하는 MoE의 기원과 TensorFlow 아키텍처의 아쉬움
AI 아키텍처 역사를 주도한 거장의 회고록. 현대 모델의 근간인 MoE의 탄생 배경과 설계 철학을 엿볼 수 있음.
요약
구글에서 27년간 근무한 제프 딘(Jeff Dean)이 최근 Frontier & Pioneer Symposium에서 자신의 경력과 신규 벤처 Discovery Loop에 대해 회고했다. 그는 현재 GPT-4, Gemini 1.5, Mixtral 등 거대 모델의 핵심 기술인 MoE(Mixture-of-Experts)를 통해 매개변수 용량과 토큰당 연산 비용을 분리하는 방식을 선구적으로 도입했다고 밝혔다. 텐서플로우(TensorFlow) 개발과 관련해서는 초기 설계 시 즉시 실행(eager execution) 모드 부재와 contrib 패키지 관리의 복잡성을 아쉬운 점으로 꼽았다. 제프 딘은 또한 PyTorch와 JAX가 텐서플로우의 부족했던 부분을 성공적으로 보완했다고 평가했다. 그는 시스템 아키텍처에 대한 통찰을 바탕으로 향후 AI 인프라 발전에 대한 지속적인 기여를 예고했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Jeff Dean on MoE, TensorFlow Regrets & Why He Left Google After 27 Years
원문 보기 ↗