【以下的问题经过翻译处理】 在定义G1X Worker 节点类型的Glue Spark Job时,我将最大Worker 节点指定为4个。 如果我检查Cloudwatch作业监视器,我会看到一些指标在曲线图上达到20+,如下所示。
我理解对于G1X Worker 节点类型, 每个Worker节点只有一个executor。有人可以解释我是否正确阅读图表或是否有遗漏之处吗?
这是3个作业的曲线图,每个作业只配置了4个工作者。
【以下的回答经过翻译处理】 请注意,指标 glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors 不取决于您为作业配置的Worker 节点数。它在作业进行时动态计算。通常,此指标在作业开始时具有更高的值。它只显示当前所需的最大executor 数,以满足工作负载。这是与Spark相关的指标,它是通过使用分区数量和每个执行程序的任务数量来计算的。
有关Glue作业各种指标的更多详细信息,请参阅此文档。
您可以参考此文档,了解涉及执行程序的各种计算的示例。
You are not logged in. Log in to post an answer.
A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.