How much does It cost to train a GPT?

0

what resources are required to train a GPT model with 10 billion parameters using 6 petabytes of data, assuming no hyperparameter tuning is performed? Specifically, how many GPUs would be needed and what types of GPUs would you recommend?

Temas

Aprendizaje automático e IA Cálculo

Etiquetas

Amazon SageMaker Formación sobre modelos de Amazon SageMaker Desarrollo de GPU

Idioma

English

preguntada hace 2 meses105 visualizaciones

No hay respuestas

Más nuevo
Más votos
Más comentarios

Contenido relevante

¿Por qué mi recurso proxy de API Gateway con un autorizador de Lambda que tiene activado el almacenamiento en caché devuelve errores HTTP 403 “User is not authorized to access this resource” (El usuario no está autorizado a acceder a este recurso)?
OFICIAL DE AWSActualizada hace 2 años
¿Cómo soluciono el error «[Servicio de AWS] was unable to place a task because no container instance met all of its requirements» en Amazon ECS?
OFICIAL DE AWSActualizada hace un año
¿Cómo soluciono el error «Lambda does not have permission to access the ECR image...» (Lambda no tiene permiso para acceder a la imagen de ECR...) de una función de Lambda con una imagen de contenedor?
OFICIAL DE AWSActualizada hace un año
¿Cómo puedo resolver el error «The specified queue does not exist or you do not have access to it» cuando ejecuto mi trabajo de AWS Glue para enviar mensajes a Amazon SQS en otra región?
OFICIAL DE AWSActualizada hace 3 años