EMR on EKS 部署模型如何支持 EMR 自动扩展/托管扩展?

0

【以下的问题经过翻译处理】 EMR 5.30发布了托管扩展功能,该功能根据Spark/Hive等负载自动扩展集群。当在EKS上部署EMR时,托管扩展是如何工作的?或者,当EMR虚拟集群(运行在EKS集群上)需要更多计算/工作资源以处理更大负载时,如何支持相同的功能/能力在同一SLA内?

profile picture
전문가
질문됨 5달 전32회 조회
1개 답변
0

【以下的回答经过翻译处理】 推荐使用 EMR ON EKS,EKS集群节点的扩展完全由EKS集群处理。EKS使用Kubernetes自动缩放器来缩放特定节点组的规模。EMR请求EKS上的Kubernetes调度器来调度Pod。对于您运行的每个作业,EMR在EKS上创建一个容器。该容器包含Amazon Linux 2基础映像与安全更新,以及Apache Spark和相关依赖项以运行Spark,还包括您特定应用程序的依赖项。每个作业都在Pod中运行。Pod下载此容器并开始执行它。作业终止后,Pod将终止。

就处理更大的工作量而言,EMR在EKS上支持Multi-AZ作业(这在EMR在EC2上不存在)。因此,Spark作业可以在跨越多个可用区的节点上启动执行器容器。

要在EKS集群上启用Kubernetes自动缩放器,请按照此文档中的说明操作。

profile picture
전문가
답변함 5달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인