Wie kann ich Data Pipeline verwenden, um eine einmalige Kopie auszuführen oder eine geplante Synchronisierung meiner Amazon S3-Buckets zu automatisieren?

Behebung

Hinweis: Die Verwendung von Data Pipeline ist eine Option für die Übertragung von Daten zwischen S3-Buckets. Zu den weiteren Optionen gehören die Verwendung von S3 Batch Operations, die Aktivierung der Replikation oder die Ausführung der cp- oder sync-Befehle auf der AWS Command Line Interface (AWS CLI).

Hinweis: Wenn du beim Ausführen von AWS-CLI-Befehlen Fehler erhältst, stelle sicher, dass du die neueste AWS-CLI-Version verwendest.

1.Vergewissere dich, dass dein/e AWS Identity and Access Management (IAM)-Benutzer oder -Rolle über ausreichende Berechtigungen für die Verwendung von Data Pipeline verfügt.

2.Melde dich mit deinem IAM-Benutzer oder deiner IAM-Rolle bei der AWS Data Pipeline-Konsole an. Vergewisser dich, dass die Konsole auf eine AWS-Region eingestellt ist, die Data Pipeline unterstützt.

Wichtig: Die Quell- und Ziel-Buckets müssen sich nicht in derselben Region befinden. Die S3-Buckets müssen sich auch nicht in derselben Region wie die Pipeline befinden. Da Datenübertragungen zwischen Regionen jedoch Kosten verursachen, solltest du unbedingt die Datenübertragungspreise für Amazon S3 überprüfen.

3.    Wähle Pipeline erstellen aus.

4.    Gib unter Name einen Namen für die Pipeline ein.

5.Wähle für Quelle die Option Mit einer Vorlage erstellen aus. Wähle dann den Befehl AWS CLI ausführen aus.

6.Gib für den AWS-CLI-Befehl den folgenden Befehl ein, um einen Kopiervorgang einzurichten:

aws s3 cp s3://source-AWSDOC-EXAMPLE-BUCKET1 s3://destination-AWSDOC-EXAMPLE-BUCKET2

Hinweis: Der Befehl „copy“ überschreibt alle Objekte im Ziel-Bucket, die denselben Schlüsselnamen wie Objekte im Quell-Bucket haben.

Um einen Synchronisierungsvorgang einzurichten, gib den folgenden Befehl ein:

aws s3 sync s3://source-AWSDOC-EXAMPLE-BUCKET1 s3://destination-AWSDOC-EXAMPLE-BUCKET2

Hinweis: Der Befehl „sync“ vergleicht die Quell- und Ziel-Buckets und überträgt dann nur die Differenz.

7.Wähle für Ausführen die Option Bei Pipeline-Aktivierung für einen einmaligen Kopier- oder Synchronisierungsauftrag aus. Oder wähle Nach Zeitplan für eine geplante Kopie oder Synchronisierung aus und fülle dann je nach Anwendungsfall die Felder Alle ausführen, Starten und Beenden aus.

8.Für Protokollierung kannst du Aktiviert auswählen und dann einen S3-Speicherort für Protokolle eingeben. Alternativ kannst du Deaktiviert auswählen, wenn du keine Protokolle möchtest.

9.Für IAM-Rollen kannst du entweder die Standardrolle oder eine benutzerdefinierte Rolle auswählen. Die Standardrolle hat Amazon S3-Berechtigungen für s3:CreateBucket, s3:DeleteObject, s3:Get*, s3:List* und s3:Put*.

Hinweis: Wenn die Buckets über eine Standardverschlüsselung mit AWS Key Management Service (AWS KMS) verfügen, stelle sicher, dass die richtigen Berechtigungen erteilt wurden. Der Rolle Data Pipeline müssen die richtigen Berechtigungen für die Verwendung des AWS-KMS-Schlüssels erteilt werden.

10.    Wähle Aktivieren aus.

Hinweis: Du kannst optional die Leistung optimieren, indem du mehrere Pipelines für jedes Root-Level-Präfix in deinem Bucket erstellst.

---

Ähnliche Informationen

IAM-Rollen für AWS Data Pipeline

Wie kann ich die Übertragungsleistung des Sync-Befehls für Amazon S3 verbessern?

Wie kann ich S3-Objekte von einem anderen AWS-Konto kopieren?

Wie kann ich kontoübergreifenden Zugriff auf Objekte gewähren, die sich in Amazon S3-Buckets befinden?