Pourquoi ma tâche de réplication par lots Amazon S3 échoue-t-elle ?

Brève description

La réplication par lots peut échouer en raison de problèmes liés aux autorisations, aux politiques ou à la configuration d'une tâche.

Pour éviter un grand nombre d'opérations infructueuses, Amazon S3 impose un seuil d'échec à chaque tâche d'opérations par lot. Amazon S3 surveille le taux d'échec de la tâche après l'exécution d'au moins 1 000 tâches. Si une tâche dépasse le taux d'échec de 50 %, elle échoue. Utilisez la procédure de dépannage suivante pour déterminer et résoudre le problème. Soumettez ensuite à nouveau le travail.

Résolution

Autorisations relatives au rôle de traitement par lots

Accordez les autorisations suivantes au rôle de traitement par lots :

• Fournissez des autorisations PUT pour le manifeste ou la configuration.
• Fournissez les autorisations GET pour le manifeste avec le compartiment qui stocke le manifeste.
• Si vous utilisez votre propre manifeste, accordez au rôle de traitement par lots les autorisations d'accès au manifeste.
• Accordez l'autorisation s3:CreateJob pour créer le traitement par lots.
• Si vous appliquez une option d’identification de tâche, accordez également l'autorisation s3:PutJobTagging.

Remarque : Pour enregistrer les opérations par lots, le rôle de traitement par lots doit disposer des autorisations GET et PUT pour le fichier manifeste. Pour plus d'informations, consultez la section Configuration d'un rôle Gestion des identités et des accès AWS (AWS IAM) pour la réplication par lots S3.

Autorisations de rôle de réplication

Lorsqu'un traitement par lots dépasse le taux d'échec de 50 %, il peut y avoir un problème dans la configuration du rôle de réplication.

Lorsque vous configurez votre rôle de réplication, utilisez les paramètres suivants :

• Si vous utilisez le même rôle pour les tâches de traitement par lots et de réplication, autorisez Amazon S3 et les opérations par lot Amazon S3 à assumer ce rôle.
• Incluez les autorisations minimales requises pour la réplication. Pour plus d'informations, consultez la section Pourquoi mes objets Amazon S3 ne se répliquent-ils pas lorsque je configure la réplication entre mes compartiments ?
• Accordez des autorisations supplémentaires pour AWS Key Management Service (AWS KMS), les clés de compartiment, le changement de propriétaire d’objets et la réplication des marqueurs de suppression.
• Bloquez les paramètres d'accès public.
• Vérifiez les limites d'autorisation qui peuvent être associées aux rôles IAM, car elles peuvent entraîner un échec de réplication.

Stratégie de compartiment source et destination

Utilisez les paramètres de stratégie de compartiment suivants :

• Si le compartiment de destination se trouve dans un autre compte AWS, accordez au rôle de réplication l'autorisation de répliquer des objets dans la règle de réplication source du compartiment. Ces autorisations s'ajoutent à la politique de rôle IAM. De même, ne configurez pas le compartiment de destination comme Paiement par le demandeur.
• Par défaut, le propriétaire du compartiment source n'est pas autorisé à accéder aux objets créés par d'autres comptes. La configuration de réplication reproduit uniquement les objets auxquels le propriétaire du compartiment source peut accéder. Pour résoudre ce problème, désactivez les listes de contrôle d'accès (ACL) dans les contrôles de propriété d’objets ou remplacez la propriété des objets par le compte source.
• Si vous stockez le manifeste du traitement par lots dans un compartiment intercompte, autorisez le compte du compartiment à accéder au manifeste. Ajoutez l'autorisation à la politique de compartiment pour le rôle de traitement par lots.

Autorisation AWS KMS pour les objets chiffrés

Utilisez les paramètres AWS KMS suivants pour les objets chiffrés :

• Si vous utilisez AWS KMS ou le chiffrement au niveau de l'objet pour le manifeste et le compartiment de rapports, incluez le rôle de traitement par lots dans la clé. La clé AWS KMS doit permettre au rôle de traitement par lots de télécharger et de charger des données depuis le compartiment.
• Si la réplication inclut un compartiment source ou de destination chiffré, autorisez l'accès aux rôles de réplication et de traitement par lots à l'aide des clés AWS KMS. Accordez au rôle de traitement par lots l'autorisation de télécharger le manifeste.
• Si vous accordez une autorisation en fonction du contexte de chiffrement, incluez l'ARN basé sur la configuration de la clé de compartiment. Consultez la section Pourquoi mes objets Amazon S3 ne se répliquent-ils pas lorsque je configure la réplication entre mes compartiments ?
• Utilisez les rapports d'inventaire Amazon S3 chiffrés par AWS KMS. Amazon S3 ne prend pas en charge les fichiers manifestes chiffrés AWS KMS générés manuellement pour les opérations par lots.

Instructions de rejet explicites

Si l'instruction de rejet de la politique de compartiment restreint les actions en fonction du réseau, Amazon S3 ne peut pas effectuer la réplication. Votre réplication Amazon S3 n'utilise pas le point de terminaison du cloud privé virtuel (VPC) ou les points d'accès Amazon S3 que vous avez configurés pour un accès privé.

Pour supprimer les restrictions, effectuez les actions suivantes :

• Configurez la politique de compartiment du manifeste pour ne refuser aucune action requise par le rôle de traitement par lots.
• Si vous utilisez un accès privé lorsque vous créez le traitement par lots S3, accordez au point de terminaison de VPC l'autorisation de créer le traitement par lots.
• Vérifiez que vous n'avez pas refusé les autorisations de réplication requises dans IAM, les politiques de contrôle de services (SCP) d'AWS Organizations, les politiques de compartiment ou les politiques AWS KMS.

Erreurs de configuration des tâches de réplication par lots

Les problèmes de configuration peuvent provoquer les réponses d'erreur suivantes.

La génération du manifeste n'a trouvé aucune clé correspondant aux critères du filtre

N'incluez pas dans le manifeste des objets qui se trouvent dans Amazon S3 Glacier ou Amazon S3 Glacier Deep Archive car une opération de réplication ne les trouve pas.

Si le filtre de préfixe ou les critères de filtre de la règle de réplication dans la tâche de réplication par lots ne correspondent pas à un préfixe du compartiment, restaurez les objets. Après avoir restauré les objets, recommencez la réplication.

SrcGetObjectNotPermitted or SrcHeadObjectNotPermitted

L'erreur SrcGetObjectNotPermitted ou SrcHeadObjectNotPermitted s'affiche lorsque le rôle IAM que vous avez configuré dans la règle de réplication n'est pas autorisé à accéder aux objets. Vous pouvez également obtenir l'une des erreurs lorsque le rôle IAM ne parvient pas à récupérer les métadonnées de l'objet depuis le compartiment source. Pour résoudre ces problèmes, ajoutez l'autorisation s3:GetObjectVersionForReplication dans la politique de rôle IAM.

Pour plus d'informations, consultez la section Configuration des autorisations pour créer des règles de réplication.

DstPutObjectNotPermitted

Lorsque l'erreur DstObjectNotPermitted s'affiche, Amazon S3 ne peut pas répliquer les objets vers le compartiment de destination. Pour résoudre ce problème, accordez l'autorisation s3:ReplicateObject ou s3:ObjectOwnerOverrideToBucketOwner à la fois dans la politique de rôle IAM et dans la politique de compartiment S3 de destination.

Le traitement par lots a été exécuté avec succès, mais le nombre d'objets attendus dans le compartiment de destination n'est pas le même

Cette erreur se produit en cas d’incompatibilité entre les objets répertoriés dans le manifeste et le filtre. Pour résoudre ce problème, corrigez les fautes de frappe dans le filtre que vous avez sélectionné lors de la création de la tâche ou dans la configuration des règles de réplication.

400 InvalidRequest : La tâche a échoué en raison d'un ID de version manquant

Cette erreur se produit lorsque la tâche détecte un objet dans le manifeste avec un champ d'ID de version vide. Pour résoudre ce problème, convertissez les ID de version vides en chaînes nulles.

Reasons for failure. The job report could not be written to your report bucket. Please check your permissions.

Amazon S3 ne prend pas en charge le verrouillage d’objet sur le compartiment que vous avez désigné pour stocker le rapport d’achèvement par lots. Stockez plutôt le rapport dans un compartiment S3 sans verrouillage d'objet.

Objets ignorés sans message d'erreur

Amazon S3 ne réplique pas un objet dans un compartiment source qui est un réplica provenant d'une autre configuration de réplication.

De plus, Amazon S3 ne réplique pas les objets vers le compartiment de destination où la réplication a été effectuée avec succès. À la place, Amazon S3 ignore l'objet sans message d'erreur.

Surveillance

Une fois qu'une tâche de réplication par lots est terminée, Amazon S3 génère un rapport d'achèvement par lots dans le compartiment ou le préfixe de destination que vous avez spécifié. Ce rapport contient des informations détaillées, notamment les échecs et les messages d'erreur associés. Consultez le rapport d’achèvement par lots pour identifier les objets ou les opérations qui ont échoué pendant le processus de réplication et les raisons d'erreur ou d’échec associées.

Utilisez les notifications d'événements Amazon S3 pour vous avertir lorsque les objets ne sont pas répliqués vers leur région AWS de destination.

Remarque : La préparation d'un manifeste pour Amazon S3 prend du temps. Cependant, si votre traitement par lots est à l'étape de Préparation ou si le pourcentage d'achèvement est le même depuis plusieurs heures, contactez AWS Support.

Informations connexes

Comment résoudre les problèmes liés aux opérations par lots d'Amazon S3 ?