LLM 데이터 추출 시 청크 경계 누락 해결: '2K 오버랩' 전략

요약

OpenAI Agents SDK와 ZenRows를 활용한 리드 생성 에이전트 개발 중 40K 자 단위의 청크(chunk) 추출 과정에서 데이터 손실 버그가 발생했다. 당시 543K 자 규모의 Markdown 데이터를 처리하며 불완전한 데이터를 제외하도록 프롬프트를 설정했으나, 청크 경계에 걸친 데이터가 양쪽 모두에서 누락되는 문제가 확인되었다. 이를 해결하기 위해 청크 사이에 2K 자의 오버랩을 적용하여 경계에 있는 데이터가 최소 한 번은 완전하게 포함되도록 조치했다. 결과적으로 발생하는 중복 데이터 처리를 위해 URL 정규화와 같은 추가적인 중복 제거 프로세스가 필요하게 되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.