Warum kann meine Data Repository Association von Amazon FSx for Lustre keine Dateien in Amazon S3 exportieren?

Lösung

Prüfen, ob Probleme mit der Dateisystemkonfiguration vorliegen

• Prüfe, ob das Daten-Repository von FSx for Lustre korrekt konfiguriert ist.
• Stelle sicher, dass das Dateisystem korrekt gemountet ist.

Nach Problemen mit der Exportkonfiguration suchen

Überprüfe die Exportkonfiguration zwischen dem Daten-Repository von FSx for Lustre und dem Amazon-S3-Bucket. Wenn du eine Data Repository Association (DRA) erstellst, stelle sicher, dass du die richtigen Exportoptionen auswählst. Stelle sicher, dass die Daten im UTF-8-kompatiblen Format gespeichert sind, damit FSx for Lustre Daten in deinen S3-Bucket exportieren kann. Amazon-S3-Objektschlüssel haben eine maximale Länge von 1.024 Byte. FSx for Lustre exportiert keine Dateien mit einem entsprechenden S3-Objektschlüssel, der länger als 1.024 Byte ist.

Fehler und Protokolle überprüfen

Überprüfe die Protokolle für FSx for Lustre und S3-Bucket-Protokolle auf Fehler oder Warnungen im Zusammenhang mit dem Synchronisierungsvorgang. Diese Protokolle können dir dabei helfen, Probleme zu identifizieren, die du beheben musst. Weitere Informationen findest du unter Logging with Amazon CloudWatch Logs (Protokollierung mit Amazon CloudWatch Logs). Überprüfe die Metrik AgeOfOldestQueuedMessage für das Dateisystem auf CloudWatch. Mit dieser Metrik kannst du ermitteln, wie lange die Synchronisation vom Dateisystem zu S3 verzögert wird.

**Hinweis:**Um weitere Untersuchungen anzustellen, überprüfe die Fehler- und Ausfallprotokolle, die dem Zeitpunkt entsprechen, zu dem AgeOfOldestQueuedMessage zu steigen begann.

Wenn du die Protokollierung für das FSx for Lustre-Dateisystem aktiviert hast, findest du die entsprechenden Protokolle in der Protokollgruppe Cloudwatch/aws/fsx/lustre. Wenn du Informationen zu Dateien hast, die nicht in S3 exportiert werden konnten, suche in der Protokollzeichenfolge nach dem relativen Dateipfad, z. B. dir1/file.txt. Der Fehler der Data-Repository-Aufgabe und der automatische Exportfehler haben einen entsprechenden JSON-Objekteintrag in der Protokollgruppe. Du findest den spezifischen errorCode in diesen Einträgen. Weitere Informationen zu diesen Protokollmeldungen und den Hauptursachen findest du in den Daten-Repository-Ereignisprotokollen.

Auf Berechtigungsprobleme prüfen

Stelle sicher, dass die AWS Identity and Access Management (IAM)-Rolle, die dem Daten-Repository von FSx for Lustre zugeordnet ist, über die erforderlichen Berechtigungen für den Zugriff auf den S3-Bucket verfügt. Diese IAM-Rolle muss über die entsprechenden Berechtigungen verfügen, um die erforderlichen Aktionen auf dem S3-Bucket auszuführen, z. B. Objekte auflisten, lesen und schreiben. Wenn die IAM-Rolle nicht über die entsprechenden Berechtigungen verfügt, schlägt der Synchronisierungsvorgang fehl.

Gehe wie folgt vor, um die Berechtigungen für die IAM-Rolle, die dem Daten-Repository von FSx for Lustre zugeordnet ist, zu überprüfen und zu ändern:

1. Öffne die IAM-Konsole.
2. Wähle im Navigationsbereich Rollen aus.
3. Suche unter Rollen nach einer IAM-Rolle, die AWSServiceRoleForFSxS3Access_fs-01234567890 ähnelt. Dies ist die IAM-Rolle, die dem Daten-Repository von FSx for Lustre zugeordnet ist.
4. Wähle die IAM-Rolle aus.
5. Wähle die Registerkarte Berechtigungen aus, um die Berechtigungen zu überprüfen, die der Rolle zugeordnet sind.
6. Erweitere die angefügte kundenverwaltete Inline-Richtlinie. Überprüfe anschließend die Richtlinie, um sicherzustellen, dass die Rolle über die erforderlichen Berechtigungen für den Zugriff auf den S3-Bucket verfügt. Diese Rolle muss mindestens über die Berechtigungen s3:ListBucket, s3:GetObject und s3:PutObject verfügen.

Beachte, dass die S3-Bucket-Richtlinie den Zugriff von der IAM-Rolle aus ermöglichen muss, die dem Daten-Repository von FSx for Lustre zugeordnet ist. Überprüfe außerdem die S3-Bucket-Richtlinie in der Amazon-S3-Konsole und ändere diese Richtlinie gegebenenfalls, um den Zugriff von der IAM-Rolle aus zu erlauben.

**Wichtig:**Du musst die Berechtigungen für das AWS Key Management System (AWS KMS) für eine der folgenden Bedingungen korrekt konfigurieren:

• Du hast ein kontoübergreifendes Setup, z. B. ein Dateisystem und einen S3-Bucket, die sich in verschiedenen AWS-Konten befinden.
• Du verwendest AWS KMS für deinen Amazon-S3-Bucket.

Weitere Informationen findest du unter Linking your file system to an S3 bucket (Verknüpfen deines Dateisystems mit einem S3-Bucket).

Nach Dateispeicherorten suchen

Stelle sicher, dass sich die Dateien in DRA-Namespaces befinden. Wenn sich die Dateien nicht in diesen Namespaces befinden, werden sie übersprungen. Wenn der DRA-Namespace beispielsweise /ns1/dir1/ lautet, wird eine Datei wie ns1/file.txt übersprungen.