LLM 핵심 개념 10단어 요약: Prefill부터 GQA까지

요약

r/LLMDevs 커뮤니티에서 복잡한 거대언어모델(LLM)의 내부 개념들을 10단어 이내로 간결하게 설명한 프로젝트가 공유되었다. 핵심 기술인 Prefill은 프롬프트 토큰을 처리해 KV 캐시를 생성하는 과정이며, PagedAttention은 KV 캐시를 비연속적 메모리 블록에 저장하는 기법으로 설명된다. Continuous batching은 기존 요청 종료 시점에 새로운 요청을 추가하는 방식을 의미하며, Speculative decoding은 소형 모델로 초안을 작성하고 대형 모델로 검증하는 과정을 거친다. 또한 LoRA는 전체 가중치 대신 저랭크 가중치 업데이트만 학습하며, GRPO는 동일 프롬프트 내 여러 응답 중 우수한 결과를 강화하고, GQA는 쿼리 헤드 그룹이 KV 헤드를 공유한다. 해당 학습 노트의 전체 목록은 GitHub 저장소(https://github.com/thisisandreeeee/llms-in-10-words)에서 확인할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.