Amazon SageMaker HyperPod Global Inference Gateway: jeden endpoint do rządów wszystkimi klastrami
Amazon SageMaker HyperPod dostał nową ficzkę – Global Inference Gateway, czyli zarządzany endpoint, który inteligentnie routuje requesty inferencyjne między klastrami HyperPod w jednym regionie lub na wielu regionach. System automatycznie wybiera najlepszy klaster, obsługuje failover i zabezpiecza każde żądanie za pomocą SigV4, IAM i AWS PrivateLink.
źródło: [aws/machine-learning-blog]