从Oracle数据库到RDS Postgres的ETL速度过慢。

0

【以下的问题经过翻译处理】 使用AWS数据库迁移服务(DMS)将Oracle在EC2上的完整加载迁移到AWS关系型数据库服务(RDS)的PostgreSQL时,可以实现哪些性能改进?

profile picture
專家
已提問 9 個月前檢視次數 34 次
1 個回答
0

【以下的回答经过翻译处理】 以下是来自 Oracle(在 EC2 上或本地)的一些基本要点,尤其适用于大型源数据库。

  • 默认情况下,DMS 并行迁移 8 个表。如果您有更多的表,但体积较小,建议将此设置增加到一次迁移迁移超过 8 个表(最多 49 个)。这可以通过修改任务的“高级设置”或通过命令行界面(CLI)中修改参数“MaxFullLoadSubTasks”实现。
  • 默认情况下,DMS 使用的提交速率为 10000,可增加到 50000。这表示可以一次性传输的最大事件数,将有助于一次性迁移。这可以通过修改任务的“高级设置”或通过命令行界面(CLI)中修改参数“CommitRate”实现。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TaskSettings.FullLoad.html

  • 您可以通过使用 DMS 的并行加载策略来改善完整加载性能,使用该策略,DMS 将从单个表中以多个线程读取数据。这可以通过修改任务表映射来指定线程数来完成。

https://aws.amazon.com/blogs/database/introducing-aws-dms-replication-engine-version-3-1-2/

  • 始终建议使用具有有限 lob 大小的任务。因此,建议识别源数据库中 lob 列的大小,并将其用作任务设置中的“lob 列的最大大小”。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_BestPractices.html

  • 您可以通过修改目标 PostgreSQL 端点的额外连接属性(maxFileSize)来增加用于传输数据到 PostgreSQL 的 .csv 文件的最大大小(以 KB 为单位)。默认情况下,它设置为 32MB,您可以将其增加到 1.1 GB。

<https://docs.aws.amazon

profile picture
專家
已回答 9 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南