"AI 코딩 예산 최적화"… 컨텍스트 기반 에이전트 운용 전략

요약

최근 Uber와 ServiceNow 등 주요 기업들이 코딩을 위한 2026년도 AI 예산을 불과 4개월 만에 모두 소진하는 사례가 발생했다. 이는 모델 자체의 비용 문제라기보다, 간단한 작업에 불필요하게 고성능 모델을 사용해 과도한 비용을 지출했기 때문이다. AI 도입의 핵심은 프롬프트 설계와 상황에 맞는 적절한 에이전트 활용에 달려 있다. Glean은 기업 내부 데이터를 미리 인덱싱하여 에이전트가 문맥을 파악하게 함으로써 불필요한 재학습 과정을 줄이는 해결책을 제시했다. 실제로 Glean의 테스트 결과, 이러한 방식은 쿼리당 비용을 기존 2.98달러에서 0.58달러로 획기적으로 낮추는 효율성을 보였다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.