AWS Spark Upgrade Agent automatyzuje migrację Sparka do wersji 4.x

AWS pokazuje, jak zautomatyzować upgrade Apache Sparka z wersji 3.x na 4.0 na EMR-ze, obsługując deprecjacje API, zmiany zachowania i aktualizacje konfiguracji buildu. To rozwiązanie zamienia miesiące ręcznej roboty w kilka godzin, a dodatkowo waliduje zadania, żeby nic się nie wysypało.