Amazon EMR dostaje natywne sprawdzanie jakości danych w Spark'u

Amazon EMR teraz waliduje jakość danych bezpośrednio w jobach Apache Spark, bez potrzeby budowania osobnej infrastruktury. Możesz łapać problemy z danymi na każdym etapie pipeline'u – od wczytania, przez transformację, aż po finalne przetworzenie – używając ponad 30 typów reguł, w tym dynamicznych porównań z historią i ML-owego wykrywania anomalii.