Pourquoi mon association de référentiel de données Amazon FSx pour Lustre ne peut-elle pas exporter des fichiers vers Amazon S3 ?

Résolution

Problèmes liés à la configuration du système de fichiers

• Vérifiez que la configuration du référentiel de données FSx pour Lustre est correcte.
• Assurez-vous que le système de fichiers est correctement monté.

Problèmes liés à la configuration de l'exportation

Vérifiez la configuration de l'exportation entre le référentiel de données FSx pour Lustre et le compartiment Amazon S3. Lorsque vous créez une association de référentiel de données (DRA), veillez à sélectionner les options d'exportation appropriées. Vérifiez que les données sont stockées dans un format compatible UTF-8 afin que FSx pour Lustre puisse exporter les données vers votre compartiment S3. Les clés d'objet Amazon S3 doivent avoir une longueur maximale de 1 024 octets. FSx pour Lustre n'exporte pas les fichiers dont la clé d'objet S3 correspondante est supérieure à 1 024 octets.

Examen des erreurs et des journaux

Consultez les journaux FSx pour Lustre et les journaux du compartiment S3 pour détecter d'éventuelles erreurs ou avertissements liés à l'opération de synchronisation. Ces journaux peuvent vous aider à identifier les problèmes à résoudre. Pour en savoir plus, consultez la section Journalisation avec Amazon CloudWatch Logs. Vérifiez la métrique AgeOfOldestQueuedMessage pour le système de fichiers sur CloudWatch. Cette métrique vous permet d'identifier la durée du délai de synchronisation entre le système de fichiers et S3.

Remarque : pour en savoir plus, consultez les journaux d'erreurs et les journaux d'échecs correspondant au moment de l’allongement de AgeOfOldestQueuedMessage.

Si vous avez activé la journalisation pour le système de fichiers FSx pour Lustre, vous trouverez les journaux correspondants dans le groupe de journaux Cloudwatch/aws/fsx/lustre. Si vous disposez d'informations sur les fichiers qui n'ont pas pu être exportés vers S3, recherchez le chemin du fichier dans la chaîne du journal, par exemple dir1/file.txt. L'échec de la tâche du référentiel de données et l'échec de l'exportation automatique sont associés à une entrée d'objet JSON dans le groupe de journaux. Vous trouverez le code d’erreur (errorCode) spécifique dans ces entrées. Pour en savoir plus sur les messages de journal et leurs causes profondes, consultez la section Journaux d'événements du référentiel de données.

Problèmes d'autorisation

Vérifiez que le rôle AWS Identity and Access Management (IAM) associé au référentiel de données FSx pour Lustre dispose des autorisations nécessaires pour accéder au compartiment S3. Ce rôle IAM doit disposer des autorisations nécessaires pour effectuer les actions requises sur le compartiment S3, telles que répertorier, lire et écrire des objets. Si le rôle IAM ne dispose pas des autorisations appropriées, l'opération de synchronisation échoue.

Pour consulter et modifier les autorisations du rôle IAM associé au référentiel de données FSx pour Lustre, procédez comme suit :

1. Ouvrez la console IAM.
2. Dans le volet de navigation, choisissez Rôles.
3. Sous Rôles, recherchez un rôle IAM similaire à AWSServiceRoleForFSxS3Access\_fs-01234567890. Il s'agit du rôle IAM associé au référentiel de données FSx pour Lustre.
4. Choisissez le rôle IAM.
5. Cliquez sur l'onglet Autorisations pour consulter les autorisations associées au rôle.
6. Développez la politique de client intégrée qui lui est associée. Examinez-la pour vous assurer que le rôle dispose des autorisations nécessaires pour accéder au compartiment S3. Au minimum, ce rôle doit disposer des autorisations s3:ListBucket, s3:GetObject et s3:PutObject.

Notez que la politique du compartiment S3 doit autoriser l'accès depuis le rôle IAM associé au référentiel de données FSx pour Lustre. Vous devez également vérifier la politique du compartiment S3 dans la console Amazon S3 et, si nécessaire, modifier cette politique pour autoriser l'accès depuis le rôle IAM.

Important : vous devez configurer correctement les autorisations AWS Key Management System (AWS KMS) en fonction de l'une des conditions suivantes :

• Vous disposez d'une configuration avec des comptes multiples, comme par exemple un système de fichiers et un compartiment s3 qui se trouvent dans différents comptes AWS.
• Vous utilisez AWS KMS pour votre compartiment Amazon S3.

Pour en savoir plus, consultez la section Liaison de votre système de fichiers à un compartiment S3.

Emplacement des fichiers

Vérifiez que les fichiers se trouvent dans les espaces de noms DRA. Les fichiers qui ne se trouvent pas dans ces espaces de noms seront ignorés. Par exemple, si l'espace de noms DRA est /ns1/dir1/, un fichier ns1/file.txt sera ignoré.