참고X
ARC Prize, OpenAI 모델의 대화 상태 관리 성능 개선 확인
서버 측 대화 상태 관리가 장기 기억과 복잡한 작업 수행 능력을 높인다는 기술적 검증 결과.
요약
OpenAI의 내부 테스트 결과, 공급자가 대화 상태를 관리하는 방식이 턴 간 연속성을 높이고 ARC-AGI-3와 같은 장기 과제 수행 능력을 향상시키는 것으로 나타났다. ARC-AGI는 개발자 의도가 개입된 최적화를 방지하고 공급자 간 공정한 비교를 위해 모든 시스템에 동일한 관측값, 시스템 프롬프트, 행동 제한을 적용하는 '노 하니스(no harness)' 방식을 채택하고 있다. 현재 ARC-AGI는 산업 표준 인터페이스인 OpenAI 스타일의 completions API를 사용하여 클라이언트 측에서 대화 상태를 관리한다. ARC 측은 ARC-AGI 점수 향상이 특정 포맷에 최적화된 훈련 결과가 아닌 실질적인 AGI 진보를 반영해야 한다고 강조했다. 이를 위해 ARC는 OpenAI를 비롯한 여러 산업 연구소와 협력하여 서버 측 상태 관리 기술을 공정하고 일관성 있게 검증 테스트에 통합하는 방안을 모색 중이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @arcprize: OpenAI’s internal testing shows that provider-managed conversation state preserves greater continuity across turns and improves pe
원문 보기 ↗