참고X
소식통: OpenAI, 차세대 모델 'Doug' 개발 중
RL/사후 학습 중심에서 사전 학습 스케일링 복귀 가능성. OpenAI의 기술 로드맵 변화를 시사하는 루머.
요약
OpenAI가 사전 학습(pre-training) 단계의 기술적 문제를 해결하고 'Doug'라는 코드명의 차기 대규모 모델 개발에 착수했다는 주장이 제기되었다. 그동안 OpenAI는 강화학습(RL)과 사후 학습(post-training) 최적화를 통해 성능 개선을 이루어 왔다. 이번 신규 모델 개발은 이러한 최적화 기술에 다시 사전 학습 스케일링을 결합하려는 시도로 분석된다. 업계에서는 이번 변화가 OpenAI의 모델 성능을 한 단계 도약시키는 중요한 계기가 될 것으로 주목하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @haider1: apparently, openai has fixed its pre-training issues and is now developing a much larger model codenamed "Doug" this would be a bi
원문 보기 ↗