중요Reddit
MS 웹페이지서 OpenAI(오픈AI) GPT-6(지피티 6) 'Looped Transformer' 사용 포착…곧 삭제
GPT-6.1(지피티 6.1) Sol은 추론 패스 2회로 효율화. 반복 추론 구조는 로컬·자체 모델 설계에도 참고점.
요약
마이크로소프트가 공개 웹페이지를 통해 오픈AI의 GPT-6 시리즈에 'Looped Transformers' 기술이 사용되었음을 확인했다. 이는 앞서 The Information이 보도한 내용이 사실임을 입증하는 것으로, GPT-6.1 Sol 모델은 3회가 아닌 2회의 추론 패스(inference passes)를 사용하는 것으로 나타났다. 마이크로소프트는 GPT-6와 GPT-6.1 Sol이 동일한 사전 학습 모델 가중치를 기반으로 하며, 이후 각각 다른 방식의 사후 학습을 거쳤다고 설명했다. 다만 해당 내용은 현재 마이크로소프트 웹페이지에서 삭제된 상태다. 이번 확인은 대규모 언어 모델의 추론 방식과 구조적 변화에 대한 중요한 기술적 단서를 제공했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Microsoft confirms OpenAI has been using Looped Transformers in the GPT-6 series
원문 보기 ↗