Amazon SageMaker HyperPod Inference wspiera NVIDIA Dynamo do rozproszonego serwowania modeli
SageMaker HyperPod Inference teraz obsługuje NVIDIA Dynamo, co pozwala na uruchamianie modeli zbyt dużych dla pojedynczej instancji i utrzymanie szybkiej generacji tokenów nawet przy długich promptach. AWS zarządza całą infrastrukturą rozproszoną za ciebie – skalowaniem, routingiem, obserwowalnością – dzięki czemu możesz skupić się na modelach zamiast na operacyjnym chaosie.
źródło: [aws/whats-new]