Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Temas

Etiquetas

Amazon EMR Amazon EMR Serverless

Idioma

English

preguntada hace 2 años681 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

respondido hace 2 años

Contenido relevante

SOLUCION A RECHAZO DE CREDITOS AWS Activate
Andres
preguntada hace un mes
migrar aplicación a AWS desde un hosting compartido con versiones de php antiguas.
Luis
preguntada hace 23 días
AWS Lex V2 + Lambda
Francisco
preguntada hace 2 días
sessionAttributes en Lex V2 consola
Francisco
preguntada hace 2 días
¿Cómo soluciono el error «The security token included in the request is expired» al usar aplicaciones de Java en Amazon EC2?
OFICIAL DE AWSActualizada hace un mes
¿Cómo puedo resolver el error “Failed to start the job flow due to an internal error” en Amazon EMR?
OFICIAL DE AWSActualizada hace 2 meses
¿Cómo puedo solucionar el error de AWS STS «the security token included in the request is expired» cuando uso AWS CLI para asumir un rol de IAM?
OFICIAL DE AWSActualizada hace 3 meses
¿Cómo puedo solucionar los errores «Container killed on request. Exit code is 137» en Spark en Amazon EMR?
OFICIAL DE AWSActualizada hace 2 años