참고Reddit
비신경망 AI 시스템 성능 측정 위한 'NNAI-Bench' 리더보드 등장
기존 LLM 외 심볼릭·규칙 기반 AI 시스템의 아키텍처와 자원 효율성을 비교 평가하는 플랫폼.
요약
신경망을 사용하지 않는 AI 시스템(상징적·규칙 기반, 셀룰러 오토마타, 커널 메서드 등)을 위한 오픈 리더보드가 Hugging Face에 공개되었습니다. 개발자는 비신경망 기반 어시스턴트인 CAEL 개발과 함께, 시스템의 전체 아키텍처와 리소스 사용량을 투명하게 평가할 수 있는 플랫폼을 마련하고자 리더보드를 구축했습니다. 이번에 발표된 NNAI-Bench v0.1은 산술, 연역적 논리, 순서, 상태 추적 등을 다루는 1,800개의 합성 질문 데이터셋으로 구성됩니다. 데이터셋은 훈련용 600개, 검증용 300개, 공개 테스트용 900개의 질문을 포함하며 현재 Hugging Face Spaces를 통해 제출 및 평가가 가능합니다. 실무자들은 해당 리더보드와 벤치마크 도구를 통해 비신경망 모델의 성능을 비교하고 피드백을 제공할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built an open leaderboard for non-neural AI looking for systems and benchmark feedback
원문 보기 ↗