1 Antwort
- Neueste
- Die meisten Stimmen
- Die meisten Kommentare
0
I found that it works as explaned here: https://docs.aws.amazon.com/glue/latest/dg/cloud-shuffle-storage-plugin.html.
spark_config.set("spark.shuffle.storage.path", f"s3://{shuffle_data_bucket}/") spark_config.set("spark.shuffle.sort.io.plugin.class", "com.amazonaws.spark.shuffle.io.cloud.ChopperPlugin")
beantwortet vor 5 Monaten
Relevanter Inhalt
- AWS OFFICIALAktualisiert vor 2 Jahren
- AWS OFFICIALAktualisiert vor einem Jahr
- Wie behebe ich den Fehler „java.lang.OutOfMemoryError: Java heap space“ in einem AWS Glue-Spark-Job?AWS OFFICIALAktualisiert vor 2 Jahren