Salta al contenuto

Come posso utilizzare l'applicazione in batch di AWS DMS per migliorare le prestazioni di replica CDC?

4 minuti di lettura
0

Desidero migliorare le prestazioni di replica CDC (Change Data Capture) della mia attività di caricamento completo e CDC AWS Database Migration Service (AWS DMS). La latenza dell'origine non è elevata, ma la latenza della destinazione è elevata o è in aumento.

Breve descrizione

Per impostazione predefinita, AWS DMS utilizza l'applicazione transazionale per replicare i dati nella fase CDC. Se l'attività acquisisce un numero elevato di operazioni dall'origine e causa una latenza della destinazione, puoi attivare l'impostazione per l'applicazione in batch.

Nota: per impostazione predefinita la destinazione Amazon Redshift utilizza l'applicazione in batch. La destinazione Amazon Simple Storage Service (Amazon S3) deve utilizzare l'applicazione transazionale.

L'applicazione in batch funziona solo su tabelle con una chiave primaria o un indice univoco. Per le tabelle senza chiave primaria o indice univoco, l'applicazione in blocco esegue solo l'inserimento in modalità blocco; dopodiché esegue le operazioni di eliminazione e aggiornamento una alla volta. Se la tabella ha una chiave primaria o un indice univoco ma passa alla modalità una alla volta, consulta Come posso risolvere il motivo per cui Amazon Redshift è passato alla modalità una alla volta?

Quando includi colonne LOB (Large Binary Object) nella replica, puoi utilizzare BatchApplyEnabled solo in modalità LOB limitata. Per ulteriori informazioni, consulta Impostazioni delle attività dei metadati di destinazione.

Nota: se imposti BatchApplyEnabled su true e la destinazione ha un vincolo univoco, AWS DMS genera un messaggio di errore.

Risoluzione

Nota: se ricevi errori quando esegui i comandi dell'Interfaccia della linea di comando AWS (AWS CLI), consulta Risoluzione degli errori per AWS CLI. Inoltre, assicurati di utilizzare la versione più recente di AWS CLI.

Per impostazione predefinita, l'opzione BatchApplySetting è disabilitata. Puoi attivarla utilizzando AWS CLI o la console AWS DMS. Prima di attivare l'applicazione in batch, crea un utente IAM con accesso programmatico.

Utilizza AWS CLI per attivare l'applicazione in batch

Completa i seguenti passaggi:

  1. Apri il sistema in cui usi AWS CLI.
  2. Esegui il comando configure per aprire il prompt di AWS CLI.
  3. Inserisci l'ID della chiave di accesso AWS.
  4. Inserisci l'ID della chiave segreta AWS.
  5. Entra nella Regione AWS delle risorse AWS DMS.
  6. Inserisci il formato di output.
  7. Verifica che l'attività sia nello stato arrestata.
  8. Esegui il comando modify-replication-task con la seguente impostazione batch:
    aws dms modify-replication-task --replication-task-arn arn:aws:dms:region:123456789123:task:4VUCZ6ROH4ZYRIA25M3SE6NXCM --replication-task-settings "{\"TargetMetadata\":{\"BatchApplyEnabled\":true}}"
    Nota: sostituisci replication-task-arn con il tuo nome della risorsa Amazon (ARN) e region con la tua Regione.
  9. Apri la console AWS DMS.
  10. Nel pannello di navigazione, inMigra o replica, scegli Attività.
  11. Seleziona l'attività, quindi scegli Impostazioni delle attività (JSON).
  12. Verifica che l'opzione BatchApplyEnabled sia abilitata.

Utilizza la console AWS DMS per attivare l'applicazione in batch

Completa i seguenti passaggi:

  1. Apri la console AWS DMS.
  2. Nel pannello di navigazione, inMigra o replica, scegli Attività.
  3. Seleziona l'attività, quindi scegli Modifica.
  4. Nella sezione Impostazioni delle attività, scegli Editor JSON.
  5. In TargetMetadata, imposta BatchApplyEnabled su true.
  6. Scegli Salva.

Risolvi i problemi relativi a un valore CDCLatencyTarget elevato dopo aver eseguito un'attività in modalità batch

Se il valore CDCLatencyTarget è elevato dopo aver eseguito l'operazione in modalità batch, potresti riscontrare una latenza per i seguenti motivi:

  • È in esecuzione un'operazione di lunga durata nella destinazione perché non ci sono indici primari e secondari.
  • Le risorse sono insufficiente per elaborare il carico di lavoro della destinazione.
  • L'istanza di replica AWS DMS presenta un elevato livello di conflitto di risorse.

Per risolvere i problemi di latenza elevata, consulta Risoluzione dei problemi di latenza in AWS Database Migration Service.

Informazioni correlate

Monitoraggio delle attività AWS DMS

Impostazioni di ottimizzazione dell'elaborazione delle modifiche

AWS UFFICIALEAggiornata 5 mesi fa