SageMaker HyperPod adiciona cache de modelos para acelerar inferência de LLMs

A AWS lançou o suporte a cache de modelos no Amazon SageMaker HyperPod, uma otimização voltada para a inferência de grandes modelos de linguagem. A solução pré-carrega pesos em discos NVMe locais e mantém imagens de contêineres prontas nos nós de computação. Testes comparativos em modelos de 57 GB a 145 GB indicam uma redução de 97% no tempo de download de contêineres e um escalonamento cerca de 60% mais ágil.