GPU 커널 엔지니어링 시리즈: naive GEMM부터 FlashAttention까지

요약

GPU 커널 엔지니어링을 주제로 한 무료 코드 중심 학습 시리즈가 공개되었습니다. 이 시리즈는 'naive GEMM'에서 시작해 'FlashAttention' 구현까지 다루며, H100 및 Blackwell GPU 환경을 기준으로 총 44개의 세션으로 구성되었습니다. 핵심 이론으로 루프라인 모델(Roofline model)을 통해 연산 성능과 메모리 대역폭의 한계를 분석하는 방법을 제시합니다. 데이터 이동 문제 해결을 최적화의 우선순위로 두는 실무적 관점을 강조하며, 학습에 필요한 모든 코드는 공개되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.