Ray LLM na Amazon EKS: jak rozproszyć dużą sieć neuronową na kilka GPU

Artykuł pokazuje, jak wdrożyć jeden duży model językowy na dwóch węzłach GPU w Amazon EKS, używając Ray LLM Deep Learning Containers z oddzielnymi fazami prefill i decode za jednym endpointem kompatybilnym z OpenAI. Dzięki gotowemu kontenerowi z pełnym stosem inferencji skupisz się na konfiguracji zamiast składania wszystkiego od zera.