임베딩 모델 'EmbeddingGemma-2' 활용한 온디바이스 RAG 구축법

요약

LiteRT가 Embedding Engine 지원을 추가하며 EmbeddingGemma-2 및 다양한 임베딩 모델을 온디바이스(edge devices) 환경에서 구동할 수 있게 되었다. 이를 활용해 인터넷 연결이나 클라우드 API 없이 100% 오프라인에서 작동하는 RAG 시스템을 구현할 수 있다. 전체 파이프라인은 EdgeParse로 PDF에서 텍스트를 추출해 마크다운으로 변환한 뒤, EmbeddingGemma-2로 온디바이스 임베딩을 생성하는 과정으로 진행된다. 생성된 데이터는 Qdrant Edge에 색인되어 벡터 검색에 활용된다. 최종적으로 Gemma 4 E2B 모델이 LiteRT 위에서 로컬로 문맥을 검색하고 답변을 생성하는 방식이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.