AI의 자가 학습 알고리즘 개선 역량, 예상보다 낮다... 네이버랩스·칭화대 공동 연구

요약

네이버랩스와 칭화대학교 연구진이 6개의 최첨단 AI 모델에게 실제 연구 저장소의 학습 알고리즘을 개선하는 과제를 4시간 동안 수행하게 한 결과, 40% 이상의 시도에서 성능이 오히려 저하되었습니다. 총 290회의 실행 결과, 알고리즘 개선 점수(0.1점은 기존 상태, 1.0점은 이론상 최적)는 평균 0.166점에 그쳤으며 최고 성능 모델도 0.250점을 기록하는 데 머물렀습니다. 제출된 263건의 사례 중 141건은 모델의 학습 방식이 아닌 학습률, 체크포인트 등 단순 설정 변경에 그친 것으로 나타났습니다. 실제로 학습 방식을 수정한 경우는 122건에 불과했으나, 이러한 접근이 평균적으로 더 높은 점수를 기록했습니다. 대부분의 모델은 변화를 시도할 뿐 개선된 결과를 내지 못했으며, 성공한 사례는 코드를 변경하기 전에 원인을 철저히 진단하고 측정하는 과정을 거친 것이 특징이었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.