참고팁Reddit
Text-to-SQL 벤치마크 'BEAVER' 성능 최적화 실험기
실제 데이터 웨어하우스 환경에서의 조인 테이블 및 스키마 선택 전략 공유. RAG/Text-to-SQL 파이프라인 성능 개선에 직접적인 도움.
요약
MIT의 기업용 데이터 웨어하우스 기반 Text-to-SQL 벤치마크인 BEAVER에서 기존 논문의 실행 정확도는 11.4%에 그쳤으나, Gemini 2.5 Flash와 오픈소스 스키마 선택 도구인 schemagate를 결합하여 테스트한 결과 31~39%까지 성능이 향상되었습니다. 성능 격차의 주된 원인은 누락된 조인 테이블 문제였으며, 이를 해결하기 위해 기본 키 추론 및 외래 키 기반의 테이블 확장 옵션을 적용했습니다. 또한, 질문과 단어가 겹치지 않는 브리지 테이블을 처리하기 위해 'expand_inward' 옵션을 사용했습니다. 실무자들은 BEAVER의 공개 분할 데이터셋에서 3개의 유사 사례를 예시로 제공함으로써, 스키마만으로 유추하기 어려운 특정 데이터 웨어하우스 컨벤션을 모델이 학습하도록 보완했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Text-to-SQL on MIT's BEAVER enterprise warehouses: 31-39% with a light model vs 11.4% in the paper. Most of the gap was missing join tables.
원문 보기 ↗