Dynamiczne data lake'i ze streamingiem na Apache Flink i Iceberg
Artykuł pokazuje, jak zbudować elastyczne data lake'i na Amazon Managed Service for Apache Flink, które bez zatrzymywania pipeline'u radzą sobie ze zmianami schematów i nowymi typami zdarzeń. Kluczem jest Dynamic Iceberg Sink, który automatycznie routuje rekordy do odpowiednich tabel i evolucjonuje schemat w locie.
źródło: [aws/big-data-blog]