참고팁X
LLM 추론 결과가 배치 크기에 따라 달라지는 이유: 부동소수점 연산의 비결합성
배치 크기에 따라 GPU 연산 순서가 바뀌며 결과값이 달라질 수 있음. 재현성 보장이 중요할 때 고려할 지점.
요약
LLM 추론 과정에서 동일한 프롬프트를 사용해도 다른 요청과 배치(batch)를 공유하는 환경에 따라 출력값이 달라지는 비결정성 문제가 발생할 수 있습니다. 이는 GPU 연산 시 부동소수점 덧셈이 결합법칙을 따르지 않으며, 연산 순서에 따라 반올림 결과값이 미세하게 달라지기 때문입니다. GPU는 효율적인 처리를 위해 배치 크기에 따라 병렬화 전략을 다르게 설정하는데, 이 과정에서 합산 순서가 바뀌며 최종 로짓(logits) 값에 변화가 생깁니다. 특히 두 토큰의 점수가 매우 근접할 경우, temperature가 0인 상황에서조차 argmax가 선택하는 토큰이 달라져 결과값이 완전히 바뀔 수 있습니다. 이를 해결하기 위해서는 배치 크기와 무관하게 항상 동일한 순서로 합산을 수행하는 방식을 택해야 하지만, 이 경우 GPU의 연산 효율성을 포기해야 하는 트레이드오프가 발생합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: This is the strangest property of LLM inference: Your LLM's output depends on requests that aren't yours. The same prompt can prod
원문 보기 ↗