참고X
Mistral(미스트랄) Large 4 BridgeBench 벤치마크 결과 공유
Mistral(미스트랄) Large 4의 실시간 추론 비용 대비 성능에 대한 구체적 비교 데이터.
요약
새로 출시된 Mistral Large 4 모델이 이미지 생성 및 추론 능력을 평가하는 'BridgeBench lava lamp test'를 통과하지 못한 것으로 확인되었습니다. 테스트 결과 모델은 라바 램프의 형태를 제대로 구현하지 못하고 빛이 터진 듯한 이미지만 생성하는 등 성능 한계를 보였습니다. 다만 비용 측면에서는 1회 실행당 0.02달러로 저렴한 가격을 책정했습니다. 비교군인 GPT 6.1 Sol 모델은 동일 테스트에서 0.09달러의 비용으로 작동하는 라바 램프 이미지를 구현해낸 바 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @bridgemindai: Mistral Large 4 just dropped and it completely fails the BridgeBench lava lamp test. No lamp. No lava. Just a blown out light. It
원문 보기 ↗