CloudWatch dostał narzędzia do monitorowania AI inference na Kubernetesie

Amazon CloudWatch wprowadza Accelerated Compute Insights – nową funkcję do obserwacji self-hosted AI inference w klastrach EKS, która automatycznie wykrywa GPU NVIDIA i pokazuje, które workloady się włóczą, zużywają zasoby nieefektywnie i ile kosztują per token. Dzięki temu zespoły mogą wreszcie zobaczyć, co dzieje się na poziomie całej floty akceleratorów, zamiast gubiać się w ciemności.