AWS Bedrock 다중 테넌트 환경에서의 비용 추적 가이드

요약

멀티 테넌트 환경에서 단일 게이트웨이 역할을 통해 AWS Bedrock을 호출할 경우 비용 추적이 어렵다는 문제가 제기되었다. AWS는 이를 해결하기 위해 테넌트 ID를 부여하는 세 가지 방법을 제시했다. 첫째, 테넌트별로 개별 'Inference Profile'을 생성하고 태그를 지정해 비용을 추적하는 방법이 있으나, 모델마다 프로필이 필요해 관리가 복잡할 수 있다. 둘째, STS(Security Token Service) 세션 이름에 테넌트 정보를 포함하는 방식은 호출별 식별이 용이하다. 셋째, 'requestMetadata'를 활용하는 방법이 있으나 이는 주로 모델 호출 컨텍스트와 관련되어 있어 비용 할당의 목적과는 차이가 있다. 실무자는 각 방식이 비용 청구서(CUR 2.0) 데이터에 미치는 영향이 다르므로, 운영 아키텍처에 가장 적합한 방식을 선택해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.