AWS Glue 6.0 – deklaratywne ETL bez orchestracji

AWS Glue 6.0 wprowadza Spark Declarative Pipelines, czyli możliwość budowania ETL-owych pipelineów bez pisania logiki orchestracji. W artykule zobaczysz, jak w jednym jobbie transformować surowe rekordy zamówień przez sekwencję bronze-silver-gold, aż do zwalidowanych i zagregowanych tabel.