升级 Amazon EMR 集群时我可以采取哪些计划步骤?

3 分钟阅读
0

我需要计划 Amazon EMR 升级,以跟上技术的快速发展。

简短描述

为了跟上大数据的快速变化,您必须升级 Amazon EMR 版本。迁移到 Amazon EMR 新版本可以促进工作负载的卓越运营并提高效率。但是,在升级 Amazon EMR 之前,您必须做好计划和准备。您必须查看某些信息,也必须遵循某些程序。

Amazon EMR 版本升级的优势

升级 Amazon EMR 的优势包括:

  • 利用最新功能,提高生产效率并降低成本。
  • 升级后的应用程序运行得更快。
  • 最新的漏洞修复提供了稳定的基础设施。
  • 最新的安全补丁增强了安全性。
  • 具有对开源软件功能的最新访问权限。

例如,在 Amazon EMR 版本 6.6 及更高版本中,Log4j 1.x 和 Log4j 2.x 分别升级到 Log4j 1.2.17 和 Log4j 2.17.1(或更高版本)。在更高版本中,不需要通过引导操作来缓解常见漏洞和风险(CVE)。

解决方法

适用于开源应用程序的 Amazon EMR 性能优化功能

Amazon EMR 为许多开源应用程序提供性能优化功能。

Spark:

Delta Lake:

Flink:

Hadoop:

HBase:

HCatalog:

Hive:

Hudi:

Iceberg:

Presto 和 Trino:

规划 Amazon EMR 版本升级

请按照以下步骤准备进行 Amazon EMR 版本升级:

  1. 研究您在当前 Amazon EMR 版本中面临的问题。
  2. 隔离一小部分要用于测试 EMR 集群性能的应用程序或查询。
  3. 设置 A/B 测试策略,以确定最适合您的解决方案的 Amazon EMR 版本。在 Amazon EMR 的 A/B 测试中,您将测试两个不同版本的服务,以比较两者在环境中的性能。
  4. 逐步将工作负载迁移到 Amazon EMR 新版本。如果您发现 Amazon EMR 的生产版本存在重大问题,可以在此处结束迁移过程。
  5. 迁移完成后,终止旧的 Amazon EMR 集群。

修复与 Amazon EMR 版本升级相关的问题

请按照以下步骤修复您在升级 Amazon EMR 版本时遇到的问题:

  1. 重新配置应用程序。观察这些更改是否提高了应用程序的性能。
  2. 检查应用程序的更新版本是否解决了问题。
  3. 更改应用程序或查询,看看能否避免问题。
  4. 检查未解决的缺陷并找到解决方法以改进应用程序。联系 AWS Premium Support,了解是否有解决方法。
  5. 停止 Amazon EMR 迁移,直到问题得到解决或找到解决方法。

Amazon EMR 版本升级注意事项

当您升级 Amazon EMR 版本时,性能回归可能会导致问题。升级可能会更改 API,这可能会影响您的代码在新界面上运行的能力。Amazon EMR 版本升级后可能会出现应用程序运行缓慢和故障的问题。

在考虑升级 Amazon EMR 版本时,最佳做法是阅读版本指南的有何新增内容?部分。有何新增内容?部分包含有关 Amazon EMR 发行版本和日期的信息,以及开源应用程序常见问题的解决方案。

研究开源应用程序的变化和突出问题

在决定迁移到 Amazon EMR 新版本之前,请查看以下发行说明和未解决的缺陷。以下应用程序列表基于 Amazon EMR 版本 6.9。

**注意:**您可以通过这些超链接访问第三方应用程序网站、GitHub 或 Apache 网站。


AWS 官方
AWS 官方已更新 2 年前