참고팁Reddit
LLM 데이터 추출 비일관성 문제: 모델의 한계인가, 파이프라인의 문제인가?
Gemini(제미나이) 등 특정 모델에서 동일 입력에 다른 결과가 나오는 현상에 대한 토론. 데이터 추출 파이프라인 최적화 시 참고할 만한 실무 이슈.
요약
최근 Reddit의 r/LLMDevs 커뮤니티에서 동일한 텍스트를 입력해도 Gemini Flash 모델의 추출 결과가 실행할 때마다 달라진다는 문제가 제기되었습니다. 작성자는 텍스트 데이터가 동일함에도 종료 날짜가 다르게 나오거나, 명확히 존재하는 필드값이 공란으로 처리되는 현상을 겪고 있습니다. Gemini API 참조 문서에 따르면 Gemini 1.5 Flash 이상 모델에서는 temperature 설정이 무시되는 것으로 알려져 있어, 파라미터 조정을 통한 해결은 불가능한 상황입니다. 이에 사용자들은 Docling이나 LlamaParse와 같은 별도의 전용 추출 도구로 교체할 경우 결과의 일관성을 확보할 수 있을지 논의하고 있습니다. LLM을 활용한 정보 추출 작업 시 모델 자체의 확률적 특성으로 인해 발생하는 데이터 불안정성에 대한 실무적인 고민이 이어지고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Extraction output keeps changing between runs, is that just the model?
원문 보기 ↗