EMR on EKS 部署模型如何支持 EMR 自动扩展/托管扩展?

0

【以下的问题经过翻译处理】 EMR 5.30发布了托管扩展功能,该功能根据Spark/Hive等负载自动扩展集群。当在EKS上部署EMR时,托管扩展是如何工作的?或者,当EMR虚拟集群(运行在EKS集群上)需要更多计算/工作资源以处理更大负载时,如何支持相同的功能/能力在同一SLA内?

profile picture
EXPERTE
gefragt vor 5 Monaten32 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 推荐使用 EMR ON EKS,EKS集群节点的扩展完全由EKS集群处理。EKS使用Kubernetes自动缩放器来缩放特定节点组的规模。EMR请求EKS上的Kubernetes调度器来调度Pod。对于您运行的每个作业,EMR在EKS上创建一个容器。该容器包含Amazon Linux 2基础映像与安全更新,以及Apache Spark和相关依赖项以运行Spark,还包括您特定应用程序的依赖项。每个作业都在Pod中运行。Pod下载此容器并开始执行它。作业终止后,Pod将终止。

就处理更大的工作量而言,EMR在EKS上支持Multi-AZ作业(这在EMR在EC2上不存在)。因此,Spark作业可以在跨越多个可用区的节点上启动执行器容器。

要在EKS集群上启用Kubernetes自动缩放器,请按照此文档中的说明操作。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen

Relevanter Inhalt