En utilisant AWS re:Post, vous acceptez les AWS re:Post Conditions d’utilisation
AWS re:Postre:Post

Spark 2.4 on EMR Serverless

1

Hi, we have a task to move Spark jobs from on-prem to AWS, using lift-and-shift of the code as much as possible. Our Spark is based on Scala 2.11 and Spark 2.4.0. I know EMR supports this version but we prefer serverless.

Will the job work with any version of EMR Serverless? I know the lower Spark version on EMR Serverless is 3.2.1, but wondering if backward compatibility works here?

Sujets
Sans serveurAnalytique
Balises
Sans serveurAnalytiqueAmazon EMR sans serveur
Langue
English
Michal
demandé il y a un an485 vues
1 réponse
0

Hi!

You will need to migrate your job to Spark 3.2.1 and Scala 2.12. Usually the changes needed are small or non-existent ( apart from library updates) from my experience. You can see the differences here:

https://spark.apache.org/docs/latest/sql-migration-guide.html

Bests!

profile pictureAWS
acmanjon
répondu il y a un an

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions

Contenus pertinents