Can I run S3DistCp on EMR Serverless?

0

Is there a way to utilize EMR Serverless to run S3DistCp? Looking at the base Docker images, I can see that the s3-dist-cp command is included in the Hive image. How can I submit a job run that runs it? Is this even supported - or planned to be supported in the future?

Thanks

Argomenti

Tag

Amazon EMR Amazon EMR Serverless

Lingua

English

posta 2 anni fa687 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

0

S3DistCp uses mapreduce framework to copy the data in distributed manner. In EMR Serverless, only Tez as execution engine is supported.

Ref https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

con risposta 2 anni fa

Contenuto pertinente

Come posso risolvere l'errore "The provided key element does not match the schema" durante l'importazione di tabelle DynamoDB utilizzando Hive su Amazon EMR?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere gli errori "Container killed on request. Exit code is 137" in Spark su Amazon EMR?
AWS UFFICIALEAggiornata 2 anni fa
Come posso installare le librerie Python su cluster Amazon EMR e Amazon EMR serverless e risolvere i problemi ad esse correlati?
AWS UFFICIALEAggiornata 5 mesi fa
Come posso risolvere l'errore "Failed to start the job flow due to an internal error" (Impossibile avviare il flusso del processo a causa di un errore interno) in Amazon EMR?
AWS UFFICIALEAggiornata 3 mesi fa