当源端点为S3时,DMS迁移任务未创建CDC文件。

0

【以下的问题经过翻译处理】 过去,当目标端点被配置为S3存储桶时,DMS迁移任务成功地在cdc-files文件夹中创建了交易文件。

然而今天重新部署后,该任务已停止创建cdc交易文件,但更新和应用的更新正确显示通过cdc传递的更新。我没有看到任何变化。

在CloudWatch日志中没有指示是否已存储文件。

目标存储桶实际情况: No Files

目标存储桶期望情况: Expected

编辑:

由于某些未知原因,cdc-files现在被存储到完整的加载目录中。目前正在查看目标端点设置,是否有任何指导AWS吗?

Here is where

profile picture
EXPERTE
gefragt vor 5 Monaten58 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 你好,

当AWS DMS使用S3作为目标运行CDC任务时,默认情况下,它会将源数据库中记录的所有行更改存储在一个或多个文件中,每个表的一组更改文件都位于与该表关联的单个目标目录中。 AWS DMS针对迁移到Amazon S3目标终点的每个数据库表均创建了许多目标目录。

  • 在屏幕截图中可以看到这种行为,完整的加载和CDC .csv文件都位于S3存储桶内的同一目录中。

现在,要以捕获源数据库更改的形式捕获事务顺序,可以指定S3终点点设置,将所有数据库表的行更改存储在一个或多个.csv文件中。这些CDC文件位于指定在S3目标终点设置中的单个事务目录中。这些CDC事务.csv文件遵循以下命名约定:

CDC_TXN-timestamp.csv

  • 在“预期目标桶”屏幕截图中可以注意到这一点,因为.csv文件位于S3存储桶内的另一个目录中,并且遵循上述命名约定。

请参阅以下文档以获取更多信息: [+] https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html#CHAP_Target.S3.EndpointSettings.CdcPath

为了告诉AWS DMS以按事务顺序存储所有行更改,即将所有CDC更改存储在单独的目录中,请确保按以下方式正确配置S3终点:

1.将目标上的PreserveTransactions S3设置设置为true。 2.将目标上的CdcPath S3设置设置为您想要AWS DMS存储.csv事务文件的相对文件夹路径。

注意:AWS DMS 会在默认 S3 目标桶和工作目录下创建此路径,或在使用目标上的 BucketName 和 BucketFolder S3 设置指定的桶和桶文件夹下创建此路径。

如果需要特定账户的帮助,请随时使用以下链接向 AWS 申请支持案例: https://console.aws.amazon.com/support/home#/case/create

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen