Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Sujets

Balises

Amazon EMR Amazon EMR sans serveur

Langue

English

demandé il y a 2 ans681 vues

1 réponse

Le plus récent
Le plus de votes
La plupart des commentaires

Ces réponses sont-elles utiles ? Votez pour la bonne réponse pour aider la communauté à bénéficier de vos connaissances.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

répondu il y a 2 ans

Contenus pertinents

[ACTION REQUIRED] Update your TLS connections to 1.2 : quelles applications sont concernées ?
rePost-User-7550145
demandé il y a 2 ans
Problème avec OpenSearch Serverless : Facturation continue malgré la suppression
Baptiste
demandé il y a 3 mois
My account is not recognized
juan ortega
demandé il y a 2 ans
upgrade Docker 27.2 et deploiement ECS via copilot : image Manifest does not contain descriptor matching platform linux/amd64
CoachAACTeam
demandé il y a 4 mois
Comment puis-je résoudre l'erreur « The security token included in the request is expired » lors de l'exécution d'applications Java sur Amazon EC2 ?
AWS OFFICIELA mis à jour il y a un mois
Pourquoi mon cluster EMR s’est terminé ?
AWS OFFICIELA mis à jour il y a 2 ans
Comment puis-je résoudre l'erreur « Failed to start the job flow due to an internal error » dans Amazon EMR ?
AWS OFFICIELA mis à jour il y a 2 mois
Pourquoi mon pipeline de génération d'image échoue-t-il avec l'erreur « Step timed out while step is verifying the Systems Manager Agent availability on the target instance(s) » dans Image Builder ?
AWS OFFICIELA mis à jour il y a 2 ans