저사양 GPU에서 실시간 신경망 영상 변환 구현: 마인크래프트 적용 사례

요약

GTX 1650과 같은 보급형 GPU 환경에서 실시간으로 마인크래프트의 날씨와 분위기를 변환할 수 있는 1.4M 파라미터 규모의 U-Net 모델이 개발되었다. 이 모델은 FLUX.2 klein(4B)을 티처 모델로 삼아 증류 과정을 거쳤으며, ONNX Runtime을 활용해 Fabric 모드 내에서 512×288 해상도 기준 프레임당 약 26ms(30~40 FPS)의 처리 속도를 구현했다. 초기 학습 시 픽셀 손실 함수(L1+MSE) 적용으로 이미지가 흐릿해지는 문제를 겪었으나, PatchGAN 파인튜닝을 통해 눈이나 웅덩이 반사 등을 정교하게 개선했다. 다만, 야간 환경 인식 오류나 학습 데이터에 포함되지 않은 이미 눈이 덮인 생태계에서는 여전히 성능 한계가 나타난다. HUD(화면 표시 장치)는 변환 과정에서 영향을 받지 않고 그대로 유지된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.