LLM 벤치마크 데이터 수집기 'Codex 0.153.0' 오류 수정 및 데이터 보정

요약

오픈소스 프로젝트 'Astra Sweetspot'의 개발자가 Codex 0.153.0 사용 중 데이터 수집기의 오류를 발견하고 이를 수정했다. 기존 v0.1.0 수집기는 Sol medium 실행 로그에서 전체 토큰 사용량 중 일부 필드만 저장하고 나머지 데이터는 누락했다. 이번에 배포된 v0.1.1 버전은 'reasoning_output_tokens' 등 유실되었던 정보를 복구하여 전체 사용량 이벤트 기록을 정확하게 반영했다. 이번 조치는 모델 재실행 없이 기존 로그 데이터를 기반으로 수행되었으며, 원본 타이밍과 패치, 등급 등 다른 결과값에는 영향이 없다. 개발자는 향후 데이터 수집 및 기록의 정합성을 보장하기 위해 수정된 로그를 기반으로 한 검증을 이어갈 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.