참고Reddit
세금 계산 벤치마크 1위 달성한 오픈소스 엔진 'OpenTax Invaro' 공개
도메인 특화 추론 성능을 보완하는 결정론적 엔진으로, 세무 등 정확한 계산이 필요한 RAG 및 에이전트 설계 시 참고할 만한 아키텍처.
요약
최근 오픈소스 조세 엔진인 'OpenTax Invaro'가 TaxCalcBench에서 96%의 점수를 기록하며 역대 최고 성적을 달성했다. 이는 기존 모델인 Fable 5와 sol을 뛰어넘는 결과로, 이전에는 6%의 낮은 점수를 기록했던 Claude 3.5 Sonnet이 해당 MCP를 통해 벤치마크 1위를 차지했다. 이 엔진은 AI 모델이 세무 연구나 서류 준비 과정에서 발생할 수 있는 계산 오류와 불확실성을 줄여주는 결정론적(deterministic) 엔진으로 설계되었다. 특히 해당 엔진이 놓친 2건의 사례는 실제 벤치마크 테스트 케이스 자체의 오류로 판명되어 유지보수 담당자로부터 확인을 받았다. 이번 사례는 전문적인 계산 엔진과 AI 모델의 결합이 특정 도메인 성능을 극적으로 향상시킬 수 있음을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Open Source Tax Engine outperforming gpt sol and Fable 5
원문 보기 ↗