GPT-2(지피티 2) KV 캐시 직접 구현 및 성능 측정 분석

요약

한 개발자가 파이토치(PyTorch)를 사용해 GPT-2 small 모델과 KV 캐시를 직접 구현하고 성능을 검증한 결과를 공유했다. 검증 환경은 NVIDIA A40 GPU, fp32(TF32 비활성화), 배치 사이즈 1, Greedy 디코딩 조건으로 설정되었다. 구현 결과, Hugging Face 모델과 비교하여 최대 절대 로짓 차이가 약 6.1e-5 수준으로 나타나 높은 정확도를 보였다. 특히 캐시를 적용한 디코딩과 적용하지 않은 디코딩이 200개 토큰 이상 일치함을 확인했다. 작성자는 캐시 연결 순서 오류가 단일 토큰 주의 테스트에서는 통과했으나 다중 토큰 생성 시에는 실패하는 등 흥미로운 오류 사례도 함께 보고했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.