A AWS anunciou o suporte a model caching no Amazon SageMaker HyperPod, visando eliminar o gargalo de inicialização a frio em inferência de grandes modelos. O recurso mantém pesos de modelos em armazenamento local NVMe e pré-carrega imagens de contêineres, diminuindo em cerca de 60% o tempo de autoescalonamento para cargas que variam de 57 GB a 145 GB.
← Todas as notícias
Tecnologia1 min de leituraPor Tiago Bona
SageMaker HyperPod lança cache de modelos para acelerar autoescalonamento e mitigar inicialização a frio
Recurso armazena pesos e imagens de contêineres localmente, reduzindo esperas de inicialização em até 60%.
O Radar na sua caixa de entrada
Uma seleção curta de tecnologia, negócios e inovação, com confirmação por e-mail.
Mais sobre Tecnologia
Tecnologia
Telefónica e Minsait desenvolverão comunicações seguras para o euro digital
Contrato de dez anos com o Banco Central Europeu fornecerá a infraestrutura de rede e segurança para a futura moeda digital.
Tecnologia
SageMaker AI habilita particionamento de GPU com tecnologia NVIDIA MIG
Recurso permite rodar múltiplos modelos menores em um mesmo acelerador com isolamento total de hardware.
Tecnologia
Recurso contra chamadas de spam da Movistar atinge 1,2 milhão de ativações
Operadora identificou 166 milhões de ligações indesejadas e bloqueou mais de 15 milhões sob solicitação dos clientes.