Cicha korupcja danych na GPU - jak ją wyłapać i naprawić

Silent data corruption to podstępny błąd GPU, który zwraca fałszywe ale wiarygodne wyniki bez żadnego ostrzeżenia, rujnując rozproszone trenowanie modeli. Artykuł pokazuje, jak dodać trzy checksów do pętli PyTorch DDP, aby wykryć problem, zlokalizować uszkodzony node na Amazon SageMaker HyperPod i automatycznie go wymienić.