Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Temas

Etiquetas

Amazon EMR Amazon EMR Serverless

Idioma

English

preguntada hace un año431 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

respondido hace un año

Contenido relevante