참고팁Reddit
임베딩 모델(Gemma 2(젬마 2))을 활용한 이미지 내 텍스트 검색 실험
경량 임베딩 모델로 OCR 없이도 이미지 내 텍스트 검색 구현 가능. 로컬 RAG 파이프라인 구성 시 참고할 만함.
요약
최근 Reddit의 LocalLLaMA 커뮤니티에서 Embedding Gemma 2(Q8 버전, 약 330MB)를 활용해 이미지 내부 텍스트를 검색하는 실험 사례가 공유되었다. 실험자는 768차원의 임베딩 벡터를 사용하여 텍스트 쿼리를 정교화함에 따라 코사인 유사도가 어떻게 변하는지 시각화하여 해당 모델의 성능과 특징을 확인했다. 현재 영어를 비롯해 한국어와 일본어가 혼합된 22,448개의 스크린샷 데이터셋을 인덱싱하여 테스트를 진행한 상태다. 실험자는 이 모델이 크기 대비 매우 유용한 성능을 보여준다고 평가했다. 다만 이번 테스트는 과학적 검증을 거친 소규모 데이터 기반이므로 해석에 주의가 필요하다는 점을 덧붙였다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Embedding model can be used to search text inside image
원문 보기 ↗