Salesforce rozłożył obciążenie ML na wiele stref dostępności

Salesforce pokazuje, jak wykorzystać Amazon SageMaker Inference Components do dystrybucji modeli AI across multiple Availability Zones i spełnić wymogi high availability bez straty na efektywności kosztowej. Sprytny trick z SchedulingConfig parametrem pozwolił im utrzymać multi-model co-hosting i jednocześnie spełnić compliance Multi-AZ.