Direkt zum Inhalt

AWS re:Post Knowledge Center Feedback Survey

Help us improve the AWS re:Post Knowledge Center by sharing your feedback in a brief survey. Your input can influence how we create and update our content to better support your AWS journey.

Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Themen: Analysen
Tags: Amazon EMR Serverlos Amazon EMR
Sprache: English

gefragt vor 3 Jahren827 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

beantwortet vor 3 Jahren

Relevanter Inhalt

Wie behebe ich den Fehler „Error Code: 503 Slow Down“ bei S3DistCp-Aufträgen in Amazon EMR?
AWS OFFICIALAktualisiert vor einem Jahr
Wie aktualisiere ich meine Python-Version auf Amazon EMR und konfiguriere PySpark-Aufträge, um die aktualisierte Python-Version zu verwenden?
AWS OFFICIALAktualisiert vor einem Jahr
Wie kann ich Parquet-Dateien in Amazon EMR verketten?
AWS OFFICIALAktualisiert vor 4 Jahren
Wie kann ich ein SAW-Runbook verwenden, um Fehler bei meinem benutzerdefinierten Domainnamen in API Gateway zu beheben?
AWS OFFICIALAktualisiert vor 3 Jahren