Salesforce rozłożył obciążenie ML na wiele stref dostępności
Salesforce pokazuje, jak wykorzystać Amazon SageMaker Inference Components do dystrybucji modeli AI across multiple Availability Zones i spełnić wymogi high availability bez straty na efektywności kosztowej. Sprytny trick z SchedulingConfig parametrem pozwolił im utrzymać multi-model co-hosting i jednocześnie spełnić compliance Multi-AZ.
źródło: [aws/machine-learning-blog]