LLM 프로덕션 환경의 안정적 운영을 위한 로깅 스키마 설계

요약

프로덕션 환경의 LLM 호출 시 단순히 프롬프트와 응답만 기록하는 관행은 문제 발생 시 원인 파악을 어렵게 만든다. 이를 방지하기 위해 각 호출마다 요청 ID, 기능 명칭, 모델 및 코드 버전, 토큰 사용량, 지연 시간, 재시도 횟수, 오류 내용, 원시 및 파싱 결과물을 체계적으로 로깅해야 한다. 특히 프롬프트 텍스트뿐만 아니라 프롬프트 템플릿 ID와 버전을 기록하는 것이 필수적이다. 또한 분석을 위해 사용자 ID와 함께 파싱 및 검증 성공 여부를 반드시 남겨야 한다. 마지막으로 서비스 품질 개선을 위해 사람이 최종 결과를 수락, 수정, 거부했는지 여부와 수정본을 기록하는 사후 평가 과정이 매우 중요하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.