참고Reddit
미국 정부 공식 AI 포털 'America.gov' 성능 테스트 리포트
공공 부문 RAG 도입 시 모델의 정확도와 환각 제어 수준을 확인할 수 있는 실전 테스트 사례.
요약
미국 연방총무청(GSA)이 2만 9천 개 이상의 정부 웹사이트 정보를 통합한 AI 포털 'America.gov'를 공식 출시했다. 해당 서비스는 사용자의 질문에 실시간 답변을 제공하는 정부 AI '프론트 도어'를 표방한다. 한 테스트 팀이 실제 취재 파일에 기반한 전문적인 질문 15개를 던져 스트레스 테스트를 진행한 결과, 9개는 정답을 맞혔고 6개는 불완전한 답변을 내놓았다. 다만, 우려했던 환각(Hallucination) 현상은 단 한 건도 발생하지 않았다. 단순 민원 조회가 아닌 특정 정보나 미공개 데이터, 기술적 질의에서도 유의미한 응답 성능을 보여준 것으로 평가된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 We stress-tested America.gov on night one with 15 questions from our own reporting. 9 correct, 6 incomplete, zero hallucinations.
원문 보기 ↗