最大Worker 节点数量与glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors

0

【以下的问题经过翻译处理】 在定义G1X Worker 节点类型的Glue Spark Job时,我将最大Worker 节点指定为4个。 如果我检查Cloudwatch作业监视器,我会看到一些指标在曲线图上达到20+,如下所示。

  1. glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
  2. glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

我理解对于G1X Worker 节点类型, 每个Worker节点只有一个executor。有人可以解释我是否正确阅读图表或是否有遗漏之处吗?

这是3个作业的曲线图,每个作业只配置了4个工作者。

job mertics

profile picture
EXPERTE
gefragt vor 10 Monaten35 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 请注意,指标 glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors 不取决于您为作业配置的Worker 节点数。它在作业进行时动态计算。通常,此指标在作业开始时具有更高的值。它只显示当前所需的最大executor 数,以满足工作负载。这是与Spark相关的指标,它是通过使用分区数量和每个执行程序的任务数量来计算的。

有关Glue作业各种指标的更多详细信息,请参阅此文档

您可以参考此文档,了解涉及执行程序的各种计算的示例。

profile picture
EXPERTE
beantwortet vor 10 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen