중요팁Reddit
JSON 스키마 검증만 통과했는데 추출 결과는 0건일 수 있다
문법 제약 디코딩은 형식만 보장할 뿐 내용은 별개. 스키마 유효성 아닌 항목 개수로 검증해야.
요약
문법 제약형 디코딩(Grammar-constrained decoding)은 생성된 토큰이 스키마를 준수하게 하지만 모델이 생성을 멈추지 않는 루프 현상을 해결하지는 못한다. Qwen3-VL 모델을 사용한 데이터 추출 실험에서 동일한 객체가 반복되는 무한 루프 문제가 발생했으며, 이를 강제로 해결하려 반복 페널티를 높일 경우 스키마는 유효하지만 데이터는 0개인 결과가 도출되었다. 단순히 스키마 준수 여부만 확인해서는 추출된 데이터가 비어있을 위험이 있다. 따라서 실무자는 스키마의 유효성뿐만 아니라 실제 추출된 항목의 개수를 검증하는 프로세스를 도입해야 한다. 이와 관련한 상세 분석은 coles.codes의 'Grammar-constrained repetition trap' 게시물을 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A valid JSON schema result can mean your model extracted nothing
원문 보기 ↗