Como faço para usar a aplicação em lote do AWS DMS para melhorar o desempenho da replicação de CDC?

Breve descrição

Por padrão, o AWS DMS usa a aplicação transacional para replicar dados na fase CDC. Se sua tarefa capturar um grande número de transações da origem e causar latência de destino, será possível ativar a configuração de aplicação em lote.

Observação: o destino do Amazon Redshift usa a aplicação em lote, por padrão. O destino do Amazon Simple Storage Service (Amazon S3) deve usar a aplicação transacional.

A aplicação em lote só funciona em tabelas com uma chave primária ou um índice exclusivo. Para tabelas sem chave primária ou índice exclusivo, a aplicação em lote aplica somente a inserção no modo em lote e, em seguida, realiza atualizações e exclusões uma a uma. Se a tabela tiver uma chave primária ou um índice exclusivo, mas mudar para o modo um por um, consulte Como posso solucionar o motivo pelo qual o Amazon Redshift mudou para o modo um por um?

Quando você inclui colunas de objetos binários grandes (LOB) na replicação, só é possível usar BatchApplyEnabled LOB limitado. Para mais informações, consulte Configurações de tarefa de metadados de destino.

Observação: se você definir BatchApplyEnabled como verdadeiro e seu destino tiver uma restrição exclusiva, o AWS DMS gerará uma mensagem de erro.

Resolução

Observação: se você receber erros ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solução de problemas da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.

BatchApplySetting está desativado por padrão. Para ativar essa configuração, use a AWS CLI ou o console do AWS DMS. Antes de ativar a aplicação em lote, crie um usuário do IAM com acesso programático.

Usar a AWS CLI para ativar a aplicação em lote

Conclua as etapas a seguir:

1. Abra o sistema em que você usa a AWS CLI.
2. Execute o comando configure para abrir o prompt da AWS CLI.
3. Insira seu ID de chave de acesso da AWS.
4. Insira seu ID de chave secreta da AWS.
5. Insira a região da AWS dos seus recursos do AWS DMS.
6. Insira o formato de saída.
7. Confirme se a tarefa está no estado interrompido.
8. Execute o comando modify-replication-task com a seguinte configuração de lote:

   aws dms modify-replication-task --replication-task-arn arn:aws:dms:region:123456789123:task:4VUCZ6ROH4ZYRIA25M3SE6NXCM --replication-task-settings "{\"TargetMetadata\":{\"BatchApplyEnabled\":true}}"

   Observação: substitua replication-task-arn pelo seu nome do recurso da Amazon (ARN) e region pela sua região.
9. Abra o console do AWS DMS.
10. No painel de navegação, em Migrar ou replicar, escolha Tarefas.
11. Selecione sua tarefa e escolha Configurações da tarefa (JSON).
12. Confirme se BatchApplyEnabled está definido como ativado.

Usar o console do AWS DMS para ativar a aplicação em lote

Conclua as etapas a seguir:

1. Abra o console do AWS DMS.
2. No painel de navegação, em Migrar ou replicar, escolha Tarefas.
3. Selecione sua tarefa e, em seguida, escolha Modificar.
4. Na seção Configurações da tarefa, escolha Editor JSON.
5. Em TargetMetadata, altere BatchApplyEnabled para true.
6. Selecione Salvar.

Solucionar problemas de um CDCLatencyTarget alto depois de executar uma tarefa no modo em lote

Se CDCLatencyTarget estiver alto depois de executar a tarefa no modo em lote, poderá haver latência pelos seguintes motivos:

• Você tem uma transação de longa duração no destino porque não há índice primário e secundário.
• Você tem disponibilidade insuficiente de recursos para processar o workload no destino.
• Você tem alta contenção de recursos em sua instância de replicação do AWS DMS.

Para solucionar problemas de alta latência, consulte Troubleshooting latency issues in AWS Database Migration Service (Solução de problemas de latência no AWS Database Migration Service).

Informações relacionadas

Monitorar tarefas do AWS DMS

Alterar configurações de ajuste de processamento