1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
I found that it works as explaned here: https://docs.aws.amazon.com/glue/latest/dg/cloud-shuffle-storage-plugin.html.
spark_config.set("spark.shuffle.storage.path", f"s3://{shuffle_data_bucket}/") spark_config.set("spark.shuffle.sort.io.plugin.class", "com.amazonaws.spark.shuffle.io.cloud.ChopperPlugin")
답변함 5달 전
관련 콘텐츠
- AWS 공식업데이트됨 일 년 전