Porównanie wydajności małych modeli LLM na SageMaker AI: która GPU wygra?
Amazon SageMaker AI przeszedł test wydajności z nowymi GPU NVIDIA Blackwell (G7) przeciwko starszym generacjom G5, G6 i G6e. Sprawdzono, jak dwie 30-miliardowe modele Qwen3-Coder-30B i NVIDIA Nemotron-3-Nano-30B radzą sobie pod względem throughputu, latencji i kosztu per token – wyniki pokazują konkretne zyski w cenie i wydajności dla real-time inferencji.
źródło: [aws/machine-learning-blog]