NVIDIA quebra recordes com chips Blackwell: LLAMA 3.1 da Meta treinado em apenas 27 minutos

A NVIDIA acaba de redefinir os limites do possível. Seus novos chips Blackwell realizaram o treinamento do modelo LLAMA 3.1 da Meta em apenas 27 minutos - um feito que deixaria até os mais otimistas do setor de IA de queixo caído.

Velocidade que custa mais que o PIB de pequenos países. É claro que, no mundo das big techs, orçamentos bilionários são apenas 'custos operacionais'. Enquanto isso, startups de IA rezam para que a NVIDIA libere algum modelo de licenciamento acessível - ou que o Elon Musk decida 'democratizar' a tecnologia entre seus tweets.

CoreWeave, NVIDIA Drive mais inteligente ai escala

Não foram apenas os resultados uma vitória para a Nvidia, mas também destacaram o trabalho da CoreWeave, uma empresa de infraestrutura em nuvem que fez parceria nos testes. Em uma entrevista coletiva, o diretor de produtos da CoreWeave, Chetan Kapoor, apontou uma direção geral que cada vez mais fazia sentido na indústria: longe de grandes e homogêneos blocos de dezenas de milhares de GPUs.

Em vez de construir um sistema de computação único, maciço e monolítico, as empresas agora estão analisando subconjuntos menores e interconectados que podem gerenciar o treinamento em modelos maciços com mais eficiência e com melhor escala.

Kapoor disse que, com essa técnica, os desenvolvedores podem continuar escalando ou reduzindo o tempo necessário para treinar modelos extremamente grandes com trilhões de parâmetros.

A mudança para a implantação modular do hardware também é necessária, pois o tamanho e a complexidade dos modelos de IA apenas inflam.

Blackwell coloca a Nvidia na liderança para o treinamento do modelo de IA

Embora o foco tenha mudado para a inferência de IA, na qual modelos como ChatGPT1 respondem às perguntas do usuário em tempo real, o treinamento ainda é o cavalo de trabalho do desenvolvimento da IA.

A parte do treinamento fornece a esses modelos seus inteligentes, permitindo que eles entendam a linguagem, enfrentam alguns de nossos problemas mais desafiadores e até produzam prosa do tipo humano. O cálculo é altamente exigente e requer milhares de chips de alto desempenho para operar por longos períodos, normalmente dias, senão semanas ou meses.

Isso mudou com a arquitetura Blackwell da Nvidia . Ao cortar radicalmente as fichas e o tempo necessário para treinar os modelos gigantescos de IA, os chips Blackwell dão à Nvidia uma mão melhor em um mercado em que a velocidade e a eficiência governam o poleiro.

Modelos de treinamento como a Llama 3.1 405b da Meta, que possuem trilhões de parâmetros, já tiveram que ser executados em grandes aglomerados de GPUs e foram um processo caro de consumo de energia. 

Esses ganhos de desempenho são uma vantagem significativa no momento em que há uma demanda empolgante por modelos de IA cada vez maiores e mais poderosos em muitos setores - desde cuidados de saúde e finanças até educação e veículos autônomos.

Ele também envia uma mensagem clara aos rivais da NVIDIA. Agora, empresas de chips como AMD e Intel, que estão trabalhando em seus chips específicos da IA, estão sob maior pressão para manter um ritmo semelhante.

A AMD enviou para o teste de referência do MLCommons, mas não mostrou resultados para um modelo tão grande quanto o Llamas 3.1 405b. A Nvidia foi a única que testou na ponta da referência, provando que era o hardware superior e disposto a enfrentar os desafios mais difíceis.

Academia Cryptopolitan: Quer aumentar seu dinheiro em 2025? Aprenda a fazê -lo com DeFi em nossa próxima webclass. Salve seu lugar