【以下的问题经过翻译处理】 在定义G1X Worker 节点类型的Glue Spark Job时,我将最大Worker 节点指定为4个。
如果我检查Cloudwatch作业监视器,我会看到一些指标在曲线图上达到20+,如下所示。
- glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
- glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
我理解对于G1X Worker 节点类型, 每个Worker节点只有一个executor。有人可以解释我是否正确阅读图表或是否有遗漏之处吗?
这是3个作业的曲线图,每个作业只配置了4个工作者。