O Amazon EMR incorporou a capacidade de executar verificações de qualidade de dados nativamente em pipelines de Apache Spark, eliminando a necessidade de construir infraestruturas paralelas de validação. Alimentado por tecnologias do AWS Glue, o recurso utiliza a linguagem declarativa Data Quality Definition Language (DQDL) e opera em formatos abertos como Apache Iceberg, Hudi e Delta Lake. Estão disponíveis mais de 30 tipos de regras, incluindo checagens dinâmicas e detecção de anomalias por aprendizado de máquina, permitindo aos engenheiros interromper pipelines defeituosos ou colocar registros corrompidos em quarentena imediatamente.
← Todas as notícias
Tecnologia1 min de leituraPor Tiago Bona
Amazon EMR adiciona verificações nativas de qualidade de dados em Apache Spark
Solução baseada em AWS Glue insere regras declarativas de validação e detecção de anomalias por ML em tempo de execução.
O Radar na sua caixa de entrada
Uma seleção curta de tecnologia, negócios e inovação, com confirmação por e-mail.
Mais sobre Tecnologia
Tecnologia
Telefónica e Minsait desenvolverão comunicações seguras para o euro digital
Contrato de dez anos com o Banco Central Europeu fornecerá a infraestrutura de rede e segurança para a futura moeda digital.
Tecnologia
SageMaker AI habilita particionamento de GPU com tecnologia NVIDIA MIG
Recurso permite rodar múltiplos modelos menores em um mesmo acelerador com isolamento total de hardware.
Tecnologia
Recurso contra chamadas de spam da Movistar atinge 1,2 milhão de ativações
Operadora identificou 166 milhões de ligações indesejadas e bloqueou mais de 15 milhões sob solicitação dos clientes.