오픈 가중치로 학습 GPU 식별 가능…중국 모델 상당수 Blackwell 사용 정황

요약

최근 Reddit에 공개된 포렌식 분석에 따르면 PyTorch의 cuRAND 초기화 방식과 스레드 레이아웃을 역추적해 모델 학습에 사용된 GPU 종류를 판별할 수 있음이 밝혀졌습니다. 초기 가중치 생성 시 사용된 시드(seed)와 스레드 카운트를 통해 GPU의 SM(Streaming Multiprocessor) 개수를 산출해 하드웨어를 식별하는 원리입니다. 이 방법으로 Llama 3.1은 132 SM(H100), Nemotron-3 Ultra는 152 SM(GB200)으로 확인되었으며, 공개된 하드웨어 정보와 일치하는 24개 모델을 통해 정확도가 입증되었습니다. 특히 DeepSeek-V4-Flash를 포함한 6개의 최신 중국 AI 모델들이 148~152 SM을 가진 NVIDIA Blackwell 아키텍처에서 학습된 것으로 분석되었습니다. 연구자는 DeepSeek-V4-Flash의 445개 행을 실제 B300 GPU에서 비트 단위로 재현하는 데 성공했다고 밝혔습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.