참고팁X
Airbnb의 LLM 평가 워크플로우 분석: 프로그래밍 및 휴먼 판단 결합 전략
LLM 평가 프로세스에서 3단계 검증 시스템 설계 및 LoRA 어댑터 활용 노하우 공유. 사내 LLM 평가 파이프라인 구축 시 벤치마킹 자료로 활용.
요약
Airbnb는 내부 AI 모델 평가를 위한 3단계 프로세스를 도입하여 검증 효율을 획기적으로 개선했다. 평가는 프로그래밍 방식의 체크, LLM 심판, 그리고 인간의 보정 순으로 진행되며, 실패 사례를 포함한 50~100개의 골든셋을 활용한다. 특히 LLM 심판의 경우 인간과의 일치도를 Cohen's kappa 지표로 측정해 80~90% 수준으로 보정하며, 매일 실시간 트래픽의 5%를 샘플링하여 평가에 반영한다. 주목할 점은 LLM 생성 정답의 75%가 실행할 때마다 달라지는 노이즈를 발견했으며, 이를 해결하기 위해 동일 출력값 캐싱 및 소형 LoRA 어댑터 학습을 도입했다. 결과적으로 AI 평가 주기를 수주에서 하루 단위로 단축시켰으며, 이는 현대 AI 엔지니어링 실무에서 가장 핵심적인 업무 영역을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @undefinedKi: Airbnb just published how they run evals internally, and it reads like a job description for an AI engineer Three layers. Programm
원문 보기 ↗