SageMaker HyperPod lança cache de modelos para acelerar autoescalonamento e mitigar inicialização a frio
Recurso armazena pesos e imagens de contêineres localmente, reduzindo esperas de inicialização em até 60%.
Capa editorial: SageMaker HyperPod lança cache de modelos para acelerar autoescalonamento e mitigar inicialização a frio
A AWS anunciou o suporte a model caching no Amazon SageMaker HyperPod, visando eliminar o gargalo de inicialização a frio em inferência de grandes modelos. O recurso mantém pesos de modelos em armazenamento local NVMe e pré-carrega imagens de contêineres, diminuindo em cerca de 60% o tempo de autoescalonamento para cargas que variam de 57 GB a 145 GB.
O Radar na sua caixa de entrada
Uma seleção curta de tecnologia, negócios e inovação, com confirmação por e-mail.
