참고팁Reddit
프롬프트 형식에 따른 모델 정확도 변화(최대 76점 차이)
프롬프트의 작은 포맷팅 차이가 결과값에 큰 영향을 줌. 단순 샘플링이 아닌 체계적인 테스트가 필수적임.
요약
2023년 Sclar 등이 발표한 연구에 따르면, 프롬프트의 의미가 같더라도 서식, 구분 기호, 대소문자 등 미세한 형식 변화만으로 LLaMA-2-13B 모델의 정확도가 최대 76점까지 차이 나는 것으로 나타났다. 이러한 프롬프트 민감도 현상은 모델 규모가 커지거나 인스트럭션 튜닝을 거쳐도 완전히 사라지지 않았다. 최신 모델들은 이전보다 개선되었으나, 여전히 프롬프트 구성 요소에 따른 성능 변동 가능성을 배제할 수 없다. 따라서 프롬프트가 몇 번의 테스트에서 작동했다고 해서 완성된 것으로 간주해서는 안 된다. 실무자는 프롬프트 성능을 검증할 때 단순히 몇 가지 사례로 샘플링하는 수준을 넘어, 다양한 서식 변화를 고려한 엄격한 테스트 과정을 거쳐야 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A 2023 study found that changing nothing but a prompt's formatting, like the separator or capitalisation, swung accuracy by up to 76 points on the same task. Most of us test our prompts once and call it done
원문 보기 ↗