A OpenAI anunciou o GPT-2 em 2019 e seu custo de treinamento foi estimado em US$ 256 por hora. Mas cinco anos depois, já atingimos o GPT-4o. Como Andrej Karpathy, desenvolvedor do projeto que recria o GPT-2 no llm.c, pode atestar, os avanços em hardware, software e dados reduziram o tempo e o custo de treinamento do mesmo modelo.
A principal redução de custos é usar um único nó 8XH100 para realizar o treinamento. Isso reduz o custo para apenas US$ 28 por hora, quase 90% de desconto em apenas cinco anos. A Nvidia lançou o H100 em 2023, então é provável que a OpenAI estivesse usando hardware de energia muito menor quando começou a trabalhar com GPT-2. No entanto, o número de horas necessárias para treinar o GPT-2 é desconhecido. Em comparação, os custos de treinamento para o GPT-4 foram superiores a US$ 100 milhões.
Outra coisa que tornou o treinamento llm.c muito mais rápido foi a implementação direta do treinamento GPT. Karpathy diz: “Como llm.c é uma implementação direta do treinamento GPT em C/CUDA, os requisitos são mínimos: sem ambiente conda, interpretador Python, instalação de pip, etc. Iniciando um nó GPU em nuvem, opcionalmente instale NVIDIA cuDNN, NCCL.” /MPI, baixe o fragmento de dados .bin, compile e execute em minutos. ” Acrescentou: “Então espere 24 horas e aproveite nossa amostra sobre unicórnios dos Andes que falam inglês”.
O projeto llm.c começou como parte de um vídeo educacional, mas logo se tornou algo que Karpathy construiu do zero depois de ficar “preso ao PyTorch”. Isso mostra a paixão de Andrei pela IA e quanto esforço ele estava disposto a fazer para concluir o projeto. Porém, ele não conseguiu isso sozinho, mas com o apoio de diversos desenvolvedores de todo o mundo.
O treinamento em IA não está ficando mais barato
Os avanços em hardware, software e dados de treinamento não significam que o treinamento de IA de ponta se tornará mais barato. O CEO da Anthropic, Dario Amodei, disse que o custo dos modelos de IA atualmente treinados já é de US$ 1 bilhão, com modelos mais caros atingindo US$ 100 bilhões já em 2025.
Isso ocorre porque, embora o hardware esteja se tornando mais sofisticado, ele também está se tornando mais caro. Por exemplo, a Nvidia H100 custa atualmente US$ 40.000 cada. Ainda assim, espera-se que a próxima geração de chips Blackwell AI custe US$ 70.000, a menos que encontrem uma inovação em hardware como o chip Sohu AI, um ASIC projetado especificamente para transformadores. Espera-se que todo o rack do servidor custe mais de US$ 3 milhões.
Além das implicações em termos de custos, os crescentes requisitos de energia dos data centers de IA também estão começando a preocupar alguns especialistas. Apenas um chip H100 funcionando com uma utilização média anual de 61% consome 3,7 MWh de energia por ano. Dado que a Nvidia e todas as outras empresas venderam mais de 3,8 milhões de GPUs de IA no ano passado, isto equivale a 14,3 milhões de TWh de eletricidade por ano, o que abastece 1,3 milhões de lares americanos médios.
Mas apesar de todo o dinheiro e poder investidos na IA, o CEO do Google DeepMind diz que os modelos atuais ainda estão apenas no nível de QI de um gato. Portanto, precisaremos investir mais bilhões em modelos futuros. Mas se você quiser construir seu próprio LLM usando o modelo antigo, não precisará de 12 dígitos em sua conta bancária. Algumas centenas de dólares é tudo que você precisa saber para criar um idioma.
