Wie verwende ich AWS DMS Batch Apply, um die CDC-Replikationsleistung zu verbessern?

Kurzbeschreibung

Standardmäßig verwendet AWS DMS Transactional Apply, um Daten in der CDC-Phase zu replizieren. Wenn deine Aufgabe eine hohe Anzahl von Transaktionen von der Quelle erfasst und eine Ziellatenz verursacht, kannst du die Batch Apply-Einstellung aktivieren.

Hinweis: Das Amazon Redshift-Ziel verwendet standardmäßig Batch Apply. Das Amazon Simple Storage Service (Amazon S3)-Ziel muss Transactional Apply verwenden.

Batch Apply funktioniert nur bei Tabellen mit einem Primärschlüssel oder einem eindeutigen Index. Bei Tabellen ohne Primärschlüssel oder eindeutigen Index wendet Bulk Apply das Einfügen nur im Bulk-Modus an und führt dann nacheinander Aktualisierungen und Löschungen durch. Wenn die Tabelle einen Primärschlüssel oder eindeutigen Index hat, aber in den Einzelmodus wechselt, findest du weitere Informationen unter Wie kann ich das Problem beheben, dass Amazon Redshift in den Einzelmodus gewechselt hat?

Wenn du LOB-Spalten (Large Binary Object) in die Replikation einbeziehst, kannst du BatchApplyEnabled nur im eingeschränkten LOB-Modus verwenden. Weitere Informationen findest du unter Aufgabeneinstellungen für Zielmetadaten.

Hinweis: Wenn du BatchApplyEnabled auf true setzt und dein Ziel eine eindeutige Einschränkung hat, generiert AWS DMS eine Fehlermeldung.

Lösung

Hinweis: Wenn du beim Ausführen von AWS Command Line Interface (AWS CLI)-Befehlen Fehlermeldungen erhältst, findest du weitere Informationen dazu unter Problembehandlung bei der AWS CLI. Stelle außerdem sicher, dass du die neueste Version der AWS CLI verwendest.

BatchApplySetting ist standardmäßig deaktiviert. Um diese Einstellung zu aktivieren, verwende entweder die AWS CLI oder die AWS DMS-Konsole. Bevor du Batch Apply aktivierst, erstelle einen IAM-Benutzer mit programmatischem Zugriff.

AWS CLI verwenden, um Batch Apply zu aktivieren

Führe die folgenden Schritte aus:

1. Öffne das System, in dem du die AWS CLI verwendest.
2. Führe den Befehl configure aus, um die AWS-CLI-Eingabeaufforderung zu öffnen.
3. Gib deine AWS-Zugangsschlüssel-ID ein.
4. Gib deine geheime AWS-Schlüssel-ID ein.
5. Gib die AWS-Region deiner AWS-DMS-Ressourcen ein.
6. Gib das Ausgabeformat ein.
7. Vergewissere dich, dass sich die Aufgabe im Status stopped befindet.
8. Führe den Befehl modify-replication-task mit der folgenden Batch-Einstellung aus:

   aws dms modify-replication-task --replication-task-arn arn:aws:dms:region:123456789123:task:4VUCZ6ROH4ZYRIA25M3SE6NXCM --replication-task-settings "{\"TargetMetadata\":{\"BatchApplyEnabled\":true}}"

   Hinweis: Ersetze replication-task-arn durch deinen Amazon-Ressourcennamen (ARN) und region durch deine Region.
9. Öffne die AWS-DMS-Konsole.
10. Wähle im Navigationsbereich unter Migrieren oder replizieren die Option Aufgaben aus.
11. Wähle deine Aufgabe aus und wähle dann Aufgabeneinstellungen (JSON) aus.
12. Vergewissere dich, dass BatchApplyEnabled auf enabled gesetzt ist.

AWS-DMS-Konsole verwenden, um Batch Apply zu aktivieren

Führe die folgenden Schritte aus:

1. Öffne die AWS-DMS-Konsole.
2. Wähle im Navigationsbereich unter Migrieren oder replizieren die Option Aufgaben aus.
3. Wähle deine Aufgabe aus und klicke dann auf Ändern.
4. Wähle im Abschnitt Aufgabeneinstellungen den JSON-Editor aus.
5. Ändere BatchApplyEnabled unter TargetMetadata auf true.
6. Wähle Speichern aus.

Problembehandlung bei einem hohen CDCLatencyTarget-Wert, nachdem du eine Aufgabe im Batch-Modus ausgeführt hast

Wenn der Wert von CDCLatencyTarget hoch ist, nachdem du die Aufgabe im Batch-Modus ausgeführt hast, kann es aus den folgenden Gründen zu Latenz kommen:

• Du hast eine Transaktion mit langer Laufzeit auf dem Ziel, da es keinen Primär- und Sekundärindex gibt.
• Deine Ressourcen sind nicht ausreichend verfügbar, um die Arbeitslast zielgerichtet zu verarbeiten.
• Du hast hohe Ressourcenkonflikte auf deiner AWS-DMS-Replikations-Instance.

Informationen zur Behebung hoher Latenz findest du unter Beheben von Latenzproblemen im AWS Database Migration Service.

Ähnliche Informationen

Überwachung von AWS DMS-Aufgaben

Ändern von Einstellungen für die Verarbeitungsoptimierung