참고X
Vitalik Buterin이 분석한 LLM 추론 및 FHE 오버헤드
LLM 추론의 FHE(동형암호) 증명 오버헤드 분석. 차세대 보안 추론 인프라 설계 시 기술적 참조가 가능합니다.
요약
비탈릭 부테린(Vitalik Buterin)은 최근 AI 모델 증명 기술의 효율성에 대해 매우 긍정적인 평가를 남겼다. 현재 H100 GPU를 사용할 경우, Muse 30B 모델의 단일 스레드 추론 속도는 초당 약 100~200 토큰이며, 다중 스레드 시 수천 토큰까지 성능 향상이 가능하다. 이는 LLM 증명에 있어 오버헤드가 10배 미만인 수준으로, 증명기 최적화를 통해 성능은 더 개선될 여지가 있다. 부테린은 향후 목표로 완전 동형 암호(FHE)의 오버헤드를 한 자릿수로 낮추는 것을 제시했다. LLM 추론은 구조가 매우 정형화되어 있고 선형적인 특성을 띠고 있어, 이러한 높은 목표도 실현 가능한 영역에 진입했다고 평가했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @VitalikButerin: Impressive work! For comparison, an H100 can do roughly 100-200 tok/s of Muse 30B for raw inference single-thread, going up to low
원문 보기 ↗