참고X
OpenAI, 정신 건강 대화 평가를 위한 오픈 벤치마크 'MentalHealthBench' 공개
임상 전문가들이 설계한 오픈 벤치마크. 실무에서 모델의 대화 품질과 안전성을 평가하는 지표로 활용 가능.
요약
OpenAI가 최첨단 AI 모델의 정신 건강 대화 능력을 평가하기 위한 새로운 오픈 벤치마크인 MentalHealthBench를 공개했다. 이 벤치마크는 80명 이상의 정신 건강 임상의의 자문과 입력을 바탕으로 구축되었다. OpenAI는 모델이 실제 정신 건강 관련 대화에서 어떻게 개선되고 있는지 입증하기 위해 이번 프로젝트를 진행했다. 연구진은 외부 연구자들이 방법론을 검토하고 자체 평가를 수행하며 연구를 발전시킬 수 있도록 해당 자료를 외부에 투명하게 공개했다. 이번 벤치마크 공개를 통해 AI의 임상적 대화 품질과 안전성을 측정할 수 있는 표준화된 평가 체계가 마련될 것으로 기대된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @OpenAI: We’re demonstrating how frontier models have continued to improve in realistic mental health conversations with MentalHealthBench.
원문 보기 ↗