Amazon SageMaker JumpStart dostał leaderboard do porównywania modeli
AWS wprowadził narzędzie do porównywania ponad 70 modeli LLM side by side – możesz teraz sprawdzić throughput, latencję, koszt i wyniki benchmarków (BIG-Bench Hard, GPQA Diamond, MMLU-Pro) w jednym miejscu. Leaderboard jest dostępny za darmo we wszystkich regionach AWS, gdzie działa SageMaker Studio, i pozwala filtrować modele po providera, licencji czy przypadku użycia.
źródło: [aws/whats-new]