Hugging Face, 음성 인식(ASR) 리더보드에 비영어권 언어 평가 세트 도입

요약

Open ASR Leaderboard는 자동 음성 인식(ASR) 모델의 편향성 문제를 해결하기 위해 힌디어 데이터셋인 'Monsoon en-IN'과 'Monsoon hi-IN'을 새롭게 추가했다. 그동안 리더보드는 단일 지표인 WER(단어 오류율)에 의존해왔으나, 이는 인종, 성별, 억양 등에 따른 성능 격차를 제대로 반영하지 못한다는 한계가 있었다. 이번에 도입된 평가셋은 4,888명의 화자를 포함하며, 각 화자별로 12개의 속성 정보가 기록되어 모델의 공정성 평가를 세밀하게 지원한다. 힌디어는 해당 리더보드에 추가된 첫 번째 인도 언어로, 기존 유럽어 중심의 다국어 평가 체계를 확장하는 의미를 갖는다. 각 데이터셋은 공개 스플릿과 비공개 스플릿으로 구성되어 벤치마크 최적화 방지 및 모델 신뢰성 검증을 돕는다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.