Niezawodny trening rozproszonty na Amazon EKS z NVRx
NVIDIA Resiliency Extension (NVRx) pozwala na bezproblemowy trening modeli PyTorch FSDP na Amazon EKS, nakładając checkpointy na obliczenia i odzyskując się po awariach GPU w kilka sekund. Benchmarki na H100 pokazują ponad 99% efektywności treningu nawet przy skalowaniu do 8 węzłów.
źródło: [aws/machine-learning-blog]