How much does It cost to train a GPT?

0

what resources are required to train a GPT model with 10 billion parameters using 6 petabytes of data, assuming no hyperparameter tuning is performed? Specifically, how many GPUs would be needed and what types of GPUs would you recommend?

Argomenti

Apprendimento automatico e intelligenza artificiale Computazionali

Tag

Amazon SageMaker Formazione sui modelli Amazon SageMaker Sviluppo GPU

Lingua

English

posta 2 mesi fa105 visualizzazioni

Nessuna risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Contenuto pertinente

Come faccio a correggere l'errore "Unable to validate the following destination configurations" in AWS CloudFormation?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere l'errore "javaSQLSQLException: No more data to read from socket (Nessun dato di lettura rimanente dal socket)" quando provo a connettermi alla mia istanza Amazon RDS for Oracle?
AWS UFFICIALEAggiornata 2 anni fa
Come faccio a risolvere l'errore "[AWS service] was unable to place a task because no container instance met all of its requirements." su Amazon ECS?
AWS UFFICIALEAggiornata un anno fa
Ho ricevuto il messaggio "NetworkInterfaces associated with the Lambda Function to be cleaned up" durante l'eliminazione di uno stack CloudFormation.
AWS UFFICIALEAggiornata 3 anni fa