A AWS anunciou o lançamento do Amazon SageMaker HyperPod Inference Gateway, um sistema de roteamento ciente de GPU nativo de Kubernetes que é implementado como um add-on gerenciado no Amazon EKS sem necessidade de alterações no código da aplicação. Ao substituir o balanceamento de carga round-robin por decisões em tempo real fundamentadas em métricas como utilização de cache KV, profundidade de fila e acerto de cache de prefixo, o gateway entrega uma redução de até 82% no primeiro token e de 97% a 98% em p99 TTFT sob tráfego variável. A solução é compatível com servidores como vLLM e SGLang.
← Todas as notícias
IA1 min de leituraPor Tiago Bona
Amazon SageMaker HyperPod Inference Gateway otimiza inferência de modelos em larga escala
Nova solução com roteamento baseado em sinais de inferência em tempo real reduz a latência do primeiro token em até 82%.
O Radar na sua caixa de entrada
Uma seleção curta de tecnologia, negócios e inovação, com confirmação por e-mail.
Mais sobre IA
IA
OpenAI lança modelos GPT-6 Sol e Luna voltados para produtividade diária e eficiência
Novos modelos de fronteira equilibram capacidade analítica e custo operacional para diferentes cenários corporativos.
IA
OpenAI apresenta MentalHealthBench para avaliar respostas de IA em saúde mental
Benchmark aberto organiza avaliações de segurança e contexto, sem constituir certificação clínica.
IA
Anthropic disponibiliza Claude Opus 5.5 na AWS com raciocínio adaptativo
Modelo corporativo otimiza consumo de tokens em tarefas de codificação e gestão de conhecimento com suporte no Amazon Bedrock.