Como faço para solucionar o erro "last error replication task out of memory" do AWS DMS?

Breve descrição

Ao usar o AWS DMS, você recebe o seguinte erro: "Last Error Replication task out of memory. Stop Reason FATAL_ERROR Error Level FATAL". Para encontrar a causa raiz do erro, examine os logs de tarefas do AWS DMS. Para o erro anterior, os logs fornecem as seguintes informações: “Task process for 'XXXXXXX' failed because it ran out of memory”.

Para resolver esse erro, conclua uma ou mais das etapas a seguir:

• Alterar as configurações da tarefa ou os parâmetros relacionados à memória.
• Aumente a classe da instância de replicação com base nas flutuações das métricas do Amazon CloudWatch para instâncias de replicação, como FreeMemory e SwapUsage.
• Dividir uma única tarefa em várias tarefas com base no tamanho dos dados que são migrados e na quantidade de memória necessária para a tarefa.

Resolução

Observação: você deve interromper a tarefa antes de fazer modificações. Depois de fazer as modificações, você deve retomar a tarefa. As tabelas dinâmicas serão recarregadas do zero se a tarefa parar durante a fase de carga total.

Alterar as configurações da tarefa ou os parâmetros relacionados à memória

Verifique se é possível dimensionar as configurações de tarefas ou os parâmetros relacionados à memória que exigem maior capacidade de memória. Veja a seguir algumas das configurações de tarefas e parâmetros mais comuns a serem verificados:

• Configurações da LOB
• Parâmetros de validação, como ThreadCount e PartitionSize
• Parâmetros de thread paralelos, como ParallelLoadThreads, ParallelLoadBufferSize, ParallelLoadQueuesPerThread, ParallelApplyThreads, ParallelApplyBufferSize e ParallelApplyQueuesPerThread.
• Parâmetros de aplicação de lote, como BatchApplyTimeoutMin, BatchApplyTimeoutMax, BatchApplyMemoryLimit e BatchSplitSize.
• Outras configurações de tarefas relacionadas à memória, como MinTransactionSize, MemoryLimitTotal, MemoryKeepTime e StatementCacheSize.

Para obter mais detalhes sobre as configurações e os parâmetros da tarefa anterior, consulte Como o AWS DMS usa memória para migração?

Aumentar a classe da instância de replicação com base nas flutuações das métricas do Amazon CloudWatch

Verifique as métricas da instância de replicação FreeMemory e SwapUsage. Se FreeMemory diminuir ou SwapUsage aumentar ou flutuar, considere a possibilidade de mudar para uma instância de replicação maior.

Além disso, considere o uso de instâncias com otimização de memória. As instâncias otimizadas para memória são adequadas para workloads com uso intensivo de memória, como migrações e replicações contínuas de transações de alto throughput. Para obter mais informações sobre o tamanho e os tipos de instâncias de replicação, consulte Choosing the right AWS DMS replication instance for your migration.

Dividir uma única tarefa em várias tarefas com base no tamanho dos dados que são migrados e na quantidade de memória necessária para a tarefa

Se a instância de replicação tiver várias tarefas, você poderá usar a métrica MemoryUsage do DMS para observar a quantidade de memória que a tarefa consome. Para determinar por que a tarefa está retendo memória na fase CDC, compare CDCChangesMemorySource e CDCChangesMemoryTarget e, em seguida, solucione o problema do respectivo endpoint.

Quando várias tarefas estiverem em execução na instância de replicação, execute uma ou mais das seguintes ações:

• Reduzir o número e o tipo de tarefas que estão sendo executadas na instância de replicação.
• Mova a tarefa com falha para uma instância de replicação diferente e tente novamente.
• Aumente a capacidade da instância.

Para tarefas com várias tabelas carregando em paralelo ou com muitas tabelas e esquemas sendo migrados, execute uma ou mais das seguintes ações:

• Reduza o número de tabelas que estão sendo carregadas em paralelo.
• Reduza o número total de tabelas e esquemas que estão sendo migrados.
• Use uma tarefa diferente em uma instância de replicação diferente para descarregar a migração de algumas das tabelas e esquemas.
• Aumente a capacidade da instância.

Informações relacionadas

Target metadata task settings

Change processing tuning settings

Métricas do AWS Database Migration Service