How much does It cost to train a GPT?

0

what resources are required to train a GPT model with 10 billion parameters using 6 petabytes of data, assuming no hyperparameter tuning is performed? Specifically, how many GPUs would be needed and what types of GPUs would you recommend?

Tópicos

Machine Learning e IA Computação

Tags

Amazon SageMaker Amazon SageMaker Model Training Desenvolvimento de GPU

Idioma

English

feita há 2 meses105 visualizações

Sem respostas

Mais recentes
Mais votos
Mais comentários

Conteúdo relevante

Como resolvo o erro "[AWS service] was unable to place a task because no container instance met all of its requirements" no Amazon ECS?
AWS OFICIALAtualizada há um ano
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos
Como soluciono o erro “User/IAM role X is not authorized to perform Y on resource Z” (O usuário/perfil X do IAM não está autorizado a executar Y no recurso Z) no AWS Glue?
AWS OFICIALAtualizada há um ano
Por que o meu pod do Amazon EKS está paralisado no estado ContainerCreating com o erro “failed to create pod sandbox” (falha ao criar a área restrita para testes do pod)?
AWS OFICIALAtualizada há um ano