참고X
LLM 토큰화의 이해: 프롬프트 최적화에 미치는 영향
토큰 단위 처리가 프롬프트 비용과 모델 응답 일관성에 미치는 기술적 원리 설명.
요약
LLM에서 토큰은 단어가 아닌 텍스트의 파편(fragment)으로 처리된다. 토큰화 방식에 따라 하나의 토큰이 온전한 단어가 될 수도 있고, 단어의 일부분이나 문장 부호가 될 수도 있다. 이 때문에 같은 문장이라도 표현 방식에 따라 처리 비용이 달라질 수 있다. 또한, 토큰의 구조적 특성으로 인해 프롬프트가 의미와 무관하게 예측 불가능한 방식으로 작동하기도 한다. 실무자는 토큰이 모델 작동의 가장 근간이 되는 요소임을 이해하고 프롬프트를 설계해야 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @AITECHio: Tokens in an LLM aren't words; they're fragments. It's easy to assume a model reads sentences the way people do, one word at a tim
원문 보기 ↗