참고Reddit
텍스트-투-SQL 벤치마크 1위 달성: 'schemagate'와 Claude Opus 5.5(클로드 오푸스 5.5) 조합
정교한 스키마 선택 도구로 벤치마크 성능을 극대화한 사례. SQL 생성 업무 자동화 시 참고.
요약
BIRD Mini-Dev text-to-SQL 리더보드에서 schemagate를 결합한 Claude Opus 5.5가 SQLite, MySQL, PostgreSQL 전 부문 1위를 기록했다. 해당 모델은 500개의 Mini-Dev 질문에 대해 SQLite 81.00%, MySQL 72.40%, PostgreSQL 72.60%의 실행 정확도를 달성했다. Gemini 2.5 Flash 기반의 schemagate는 2위를 차지하며 뒤를 이었다. 이 시스템은 질문마다 Claude API를 1회 호출하며, 질문에 필요한 테이블과 컬럼만 선별하는 'schemagate' 레이어를 앞단에 배치해 SQL 생성의 효율을 높였다. 생성된 SQL은 실행 전 검증 과정을 거치며, 관련 코드와 예측 결과는 GitHub를 통해 공개되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Open-source schema selection + Claude Opus 5.5 is now #1 on the official BIRD Mini-Dev text-to-SQL leaderboard (#2 with Gemini 2.5 Flash)
원문 보기 ↗