A AWS anunciou suporte a particionamento de GPU na inferência em tempo real do Amazon SageMaker AI, utilizando a tecnologia Multi-Instance GPU (MIG) da NVIDIA. O mecanismo permite dividir uma única GPU em até sete partições independentes com memória e capacidade computacional dedicadas e isolamento em nível de hardware. A novidade otimiza o custo operacional de servir modelos compactos, como embeddings, classificadores e reclassificadores, evitando o desperdício de manter aceleradores inteiros subutilizados para cargas leves de trabalho.
← Todas as notícias
IA1 min de leituraPor Tiago Bona
Amazon SageMaker adiciona particionamento de GPU com NVIDIA MIG para reduzir custos de inferência
Recurso divide aceleradores em até sete partições isoladas, viabilizando múltiplos modelos menores em uma única placa de vídeo.
O Radar na sua caixa de entrada
Uma seleção curta de tecnologia, negócios e inovação, com confirmação por e-mail.