OpenAI fechou uma parceria com a Cerebras para adicionar 750 MW de capacidade de computação de alta velocidade voltada a IA. O acordo tem como objetivo reduzir a latência de inferência e tornar o ChatGPT mais rápido em aplicações de IA em tempo real.
A expansão de capacidade anunciada envolve infraestrutura especializada para processar modelos de grande porte com maior rapidez, diminuindo o tempo entre a entrada do usuário e a resposta do modelo (latência de inferência). Para serviços conversacionais como o ChatGPT, menor latência significa respostas mais imediatas e interações mais fluidas, especialmente em cenários que exigem retorno quase instantâneo.
A Cerebras é conhecida por desenvolver aceleradores e sistemas projetados especificamente para cargas de trabalho de inteligência artificial, e a parceria com a OpenAI representa um movimento para alavancar esse tipo de hardware em escala, otimizando o desempenho de modelos em produção. O foco declarado é suportar melhor experiências em tempo real, sem alterar o funcionamento ou os recursos já oferecidos pelo ChatGPT.
