[사례] 로컬 LLM 에이전트로 3주간 CUDA 커널 최적화 도전기

요약

최근 한 사용자가 RTX 3090 단일 그래픽카드에서 Qwen 3.8 27B 모델을 활용해 21일간 자율 에이전트 루프를 실행한 사례가 커뮤니티에서 주목받고 있다. 실험의 목표는 해당 GPU 아키텍처에 최적화된 CUDA 추론 엔진을 모델 스스로 구축하는 것이었으며, 사용자는 모델에게 규칙을 설정하고 최소한의 개입만 진행했다. 3주간의 실험 결과, 모델은 실제 작동하는 커널과 벤치마크를 생성했으나 llama.cpp의 성능을 뛰어넘지는 못했다. 약 83시간의 컴팩션 과정을 포함하여 총 12번의 인간 개입이 있었으며, 프릴(prefill) 속도는 약 250tps 수준에 머물렀다. 이번 실험은 고사양 모델이 제한된 하드웨어 환경에서 스스로 엔진을 개발하는 자율 에이전트의 가능성을 보여주었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.