LLM 프롬프트만큼 중요한 '스키마 설계': 모델 응답 품질 높이는 전략

요약

최신 추론 모델을 사용하더라도 스키마의 정의 방식이나 필드 순서에 따라 LLM의 출력 결과가 달라질 수 있다는 점이 확인되었습니다. 모델마다 스키마를 처리하고 가중치를 두는 방식이 다르기 때문에, 프롬프트뿐만 아니라 스키마 설계 역시 결과 품질에 핵심적인 영향을 미칩니다. 따라서 LLM을 평가자로 활용할 때 단순히 임의의 숫자 점수를 부여하는 방식은 지양해야 합니다. 대신 명확한 평가 기준(rubrics)을 수립하고, 모호한 수치보다는 잘 정의된 카테고리를 활용하는 것이 바람직합니다. 다양한 모델 간의 성능 차이를 확인하기 위해 OpenRouter 등을 활용해 여러 모델을 테스트하는 스크립트를 실행해보는 과정이 권장됩니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.