O Amazon EMR incorporou verificações nativas de qualidade de dados alimentadas pelo AWS Glue para jobs em Apache Spark. As equipes de engenharia de dados podem aplicar mais de 30 regras declarativas em DQDL e detecção de anomalias por ML em formatos como Iceberg, Hudi e Delta Lake, interrompendo fluxos ou enviando registros problemáticos para quarentena sem criar infraestrutura separada de validação.
← Todas as notícias
Tecnologia1 min de leituraPor Tiago Bona
Amazon EMR introduz validação nativa de qualidade de dados em jobs Apache Spark
Mecanismo utiliza regras declarativas e aprendizado de máquina para conter dados inválidos em pipelines.
O Radar na sua caixa de entrada
Uma seleção curta de tecnologia, negócios e inovação, com confirmação por e-mail.
Mais sobre Tecnologia
Tecnologia
Telefónica e Minsait desenvolverão comunicações seguras para o euro digital
Contrato de dez anos com o Banco Central Europeu fornecerá a infraestrutura de rede e segurança para a futura moeda digital.
Tecnologia
SageMaker AI habilita particionamento de GPU com tecnologia NVIDIA MIG
Recurso permite rodar múltiplos modelos menores em um mesmo acelerador com isolamento total de hardware.
Tecnologia
Recurso contra chamadas de spam da Movistar atinge 1,2 milhão de ativações
Operadora identificou 166 milhões de ligações indesejadas e bloqueou mais de 15 milhões sob solicitação dos clientes.