SageMaker AI pilnuje Twoich inference endpointów – wykrywa opóźnienia i marnujące GPU
Amazon SageMaker AI dostał nową funkcję monitorowania, która automatycznie wyłapuje problemy z wydajnością i kosztami na Twoich generative AI endpointach. System śledzi latencję, wykorzystanie GPU i konfigurację, a potem wysyła rekomendacje przez AWS Health – możesz od razu przetestować alternatywy w SageMaker Studio zanim cokolwiek zmienisz.
źródło: [aws/machine-learning-blog]