Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Themen

Tags

Amazon EMR Amazon EMR Serverlos

Sprache

English

gefragt vor einem Jahr431 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

beantwortet vor einem Jahr

Relevanter Inhalt

Wie kann ich den Fehler „The security token included in the request is expired“ bei der Ausführung von Java-Anwendungen auf Amazon EC2 beheben?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich den Fehler “Lambda does not have permission to access the ECR image...” (Lambda hat keine Berechtigung, auf das ECR-Image zuzugreifen...) für eine Lambda-Funktion mit einem Container-Image beheben?
AWS OFFICIALAktualisiert vor einem Jahr
Wie vermeide ich den Fehler „Unable to validate the following destination configurations“ bei Lambda-Ereignisbenachrichtigungen in CloudFormation?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie behebe ich den Fehler „The new key policy will not allow you to update the key policy in the future“, wenn ich versuche, mit AWS CloudFormation einen AWS-KMS-Schlüssel zu erstellen?
AWS OFFICIALAktualisiert vor einem Jahr