从Oracle数据库到RDS Postgres的ETL速度过慢。

0

【以下的问题经过翻译处理】 使用AWS数据库迁移服务(DMS)将Oracle在EC2上的完整加载迁移到AWS关系型数据库服务(RDS)的PostgreSQL时,可以实现哪些性能改进?

profile picture
专家
已提问 8 个月前30 查看次数
1 回答
0

【以下的回答经过翻译处理】 以下是来自 Oracle(在 EC2 上或本地)的一些基本要点,尤其适用于大型源数据库。

  • 默认情况下,DMS 并行迁移 8 个表。如果您有更多的表,但体积较小,建议将此设置增加到一次迁移迁移超过 8 个表(最多 49 个)。这可以通过修改任务的“高级设置”或通过命令行界面(CLI)中修改参数“MaxFullLoadSubTasks”实现。
  • 默认情况下,DMS 使用的提交速率为 10000,可增加到 50000。这表示可以一次性传输的最大事件数,将有助于一次性迁移。这可以通过修改任务的“高级设置”或通过命令行界面(CLI)中修改参数“CommitRate”实现。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TaskSettings.FullLoad.html

  • 您可以通过使用 DMS 的并行加载策略来改善完整加载性能,使用该策略,DMS 将从单个表中以多个线程读取数据。这可以通过修改任务表映射来指定线程数来完成。

https://aws.amazon.com/blogs/database/introducing-aws-dms-replication-engine-version-3-1-2/

  • 始终建议使用具有有限 lob 大小的任务。因此,建议识别源数据库中 lob 列的大小,并将其用作任务设置中的“lob 列的最大大小”。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_BestPractices.html

  • 您可以通过修改目标 PostgreSQL 端点的额外连接属性(maxFileSize)来增加用于传输数据到 PostgreSQL 的 .csv 文件的最大大小(以 KB 为单位)。默认情况下,它设置为 32MB,您可以将其增加到 1.1 GB。

<https://docs.aws.amazon

profile picture
专家
已回答 8 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则