How much does It cost to train a GPT?

0

what resources are required to train a GPT model with 10 billion parameters using 6 petabytes of data, assuming no hyperparameter tuning is performed? Specifically, how many GPUs would be needed and what types of GPUs would you recommend?

Sujets

Machine Learning et AI Calcul

Balises

Amazon SageMaker Amazon SageMaker Model Training Développement GPU

Langue

English

demandé il y a 2 mois105 vues

Aucune réponse

Le plus récent
Le plus de votes
La plupart des commentaires

Contenus pertinents

account is currently blocked and not recognized as a valid account
Yves Boah
demandé il y a un an
[ACTION REQUIRED] Update your TLS connections to 1.2 : quelles applications sont concernées ?
rePost-User-7550145
demandé il y a un an
démarrage d'instances a mon insu
marc
demandé il y a 7 mois
My account is not recognized
juan ortega
demandé il y a un an
Comment puis-je créer une règle d'événement EventBridge pour m'avertir que mon compte utilisateur root AWS a été utilisé ?
AWS OFFICIELA mis à jour il y a 8 mois
Comment résoudre l’erreur « [AWS service] was unable to place a task because no container instance met all of its requirements » rencontrée dans Amazon ECS ?
AWS OFFICIELA mis à jour il y a un an
Comment convertir le schéma de partitionnement MBR par défaut de mon instance CentOS EC2 en GPT afin de contourner la limite de 2 Tio pour les partitions MBR sur mon volume EBS ?
AWS OFFICIELA mis à jour il y a 4 ans
Comment résoudre l'erreur « javasqlSQLException: No more data to read from socket » lorsque j'essaie de me connecter à mon instance Amazon RDS for Oracle ?
AWS OFFICIELA mis à jour il y a 2 ans