Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Tópicos

Tags

Amazon EMR Amazon EMR Serverless

Idioma

English

feita há 2 anos687 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

respondido há 2 anos

Conteúdo relevante

Minha certificação sumiu do portal.
Souza
feita há 3 dias
Servidor não Liga
Evandro
feita há 19 dias
A AWS emite algum documento comprovando para fins legais que a gente tá usando a infraestrutura e serviços da AWS?
Resposta aceita
Marcos Abreu
feita há 16 dias
Inicializar instancia spot
Evandro
feita há 19 dias
Como resolvo o erro “The provided key element does not match the schema” ao importar tabelas do DynamoDB usando o Hive no Amazon EMR?
AWS OFICIALAtualizada há 2 anos
Como posso resolver erros "Container killed on request. Exit code is 137" do Spark no Amazon EMR?
AWS OFICIALAtualizada há 2 anos
Como posso solucionar o erro “Lambda does not have permission to access the ECR image...” (O Lambda não tem permissão para acessar a imagem do ECR) para uma função do Lambda com uma imagem de contêiner?
AWS OFICIALAtualizada há 2 anos
Como faço para atualizar minha versão do Python no Amazon EMR e configurar trabalhos do PySpark para usar a versão atualizada do Python?
AWS OFICIALAtualizada há 3 meses