1 réponse
- Le plus récent
- Le plus de votes
- La plupart des commentaires
0
I found that it works as explaned here: https://docs.aws.amazon.com/glue/latest/dg/cloud-shuffle-storage-plugin.html.
spark_config.set("spark.shuffle.storage.path", f"s3://{shuffle_data_bucket}/") spark_config.set("spark.shuffle.sort.io.plugin.class", "com.amazonaws.spark.shuffle.io.cloud.ChopperPlugin")
répondu il y a 5 mois
Contenus pertinents
- demandé il y a 4 mois
- demandé il y a un an
- Réponse acceptéedemandé il y a un an
- AWS OFFICIELA mis à jour il y a 2 ans
- AWS OFFICIELA mis à jour il y a un an
- AWS OFFICIELA mis à jour il y a un an
- AWS OFFICIELA mis à jour il y a un an