Comment puis-je transférer de grandes quantités de données d'un compartiment Amazon S3 vers un autre ?

Résolution

Pour transférer de grandes quantités de données d'un compartiment Amazon S3 vers un autre, utilisez l'une des méthodes suivantes :

• Interface de la ligne de commande AWS (AWS CLI)
• Réplication entre régions ou réplication dans la même région
• Opérations par lots sur Amazon S3
• S3DistCP avec Amazon EMR
• AWS DataSync

Remarque : Si des erreurs surviennent lorsque vous exécutez des commandes AWS CLI, consultez la section Résoudre les erreurs liées à l’AWS CLI. Vérifiez également que vous utilisez bien la version la plus récente de l'interface.

AWS CLI

Pour améliorer le temps de transfert de vos données, divisez le transfert en plusieurs opérations qui s'excluent mutuellement. Par exemple, utilisez l'AWS CLI pour exécuter plusieurs opérations parallèles telles que aws s3 cp, aws s3 mv ou aws s3 sync. Vous pouvez créer d'autres threads de chargement en utilisant les paramètres --exclude et --include pour filtrer les opérations par nom de fichier.

Remarque : Étant donné que les paramètres --exclude et --include sont traités côté client, les ressources de votre machine locale peuvent affecter les performances de l'opération.

Pour copier une grande quantité de données d'un compartiment dans un autre, exécutez les commandes suivantes :

Remarque : Les noms de fichiers commencent par des chiffres.

1. Exécutez la commande cp suivante pour copier les fichiers dont les noms commencent par les chiffres de 0 à 4 :

   aws s3 cp s3://source-awsexamplebucket/ s3://destination-awsexamplebucket/ --recursive --exclude "*" --include "0*" --include "1*" --include "2*" --include "3*" --include "4*"
   

2. Exécutez la commande cp suivante lors d'une deuxième opération de l'AWS CLI pour copier les fichiers dont les noms commencent par les chiffres 5 à 9 :

   aws s3 cp s3://source-awsexamplebucket/ s3://destination-awsexamplebucket/ --recursive --exclude "*" --include "5*" --include "6*" --include "7*" --include "8*" --include "9*"
   

Vous pouvez également personnaliser les valeurs de configuration S3 de l'AWS CLI suivantes pour améliorer le temps de transfert de vos données :

• Utilisez le paramètre multipart_chunksize pour définir la taille de chaque partie que l'AWS CLI charge dans le cadre d'un chargement partitionné pour un fichier individuel. Vous pouvez décomposer un fichier plus volumineux en parties de plus petite taille pour accélérer les vitesses de chargement. 
  Remarque : Pour un chargement partitionné, vous pouvez charger un seul fichier en 10 000 parties distinctes au maximum. Vérifiez que la taille des fragments définie correspond à la taille du fichier et au nombre de parties.
• Utilisez le paramètre max_concurrent_requests pour définir le nombre de requêtes que vous pouvez envoyer à Amazon S3 en une seule fois. La valeur par défaut est de 10, mais vous pouvez l'augmenter. Vérifiez que votre machine dispose de ressources suffisantes pour prendre en charge le nombre maximal de requêtes simultanées.

CRR ou SSR

Configurez CRR ou SSR sur le compartiment source afin de permettre à Amazon S3 de répliquer automatiquement les nouveaux objets du compartiment source vers le compartiment de destination. Pour filtrer les objets répliqués par Amazon S3, utilisez un préfixe ou une balise. Pour plus d’informations, consultez la section Éléments du fichier de configuration de la réplication.

Une fois que vous avez configuré la réplication, Amazon S3 ne réplique que les nouveaux objets dans le compartiment de destination, pas les objets existants. Pour plus d'informations, consultez les sections Réplication d'objets existants à l'aide de la réplication par lots et Qu'est-ce qui n'est pas répliqué avec des configurations de réplication ?

Opérations par lots sur Amazon S3

Vous pouvez utiliser les opérations par lots Amazon S3 pour copier plusieurs objets en une seule requête. Lorsque vous créez une tâche d'opération par lots, vous pouvez utiliser un rapport d’inventaire Amazon S3 pour spécifier les objets sur lesquels Amazon S3 effectue l'opération. Vous pouvez également utiliser un manifeste CSV pour spécifier une tâche par lots. Les opérations par lots Amazon S3 appellent ensuite l'API pour effectuer l'opération.

Au terme de la tâche d'opération par lots, vous recevez une notification et un rapport de fin de tâche facultatif.

S3DistCp avec Amazon EMR

L'opération S3DistCp sur Amazon EMR peut copier en parallèle un grand nombre d'objets dans les compartiments Amazon S3. Premièrement, S3DistCp copie les fichiers du compartiment source dans les composants master d'un cluster Amazon EMR. Ensuite, l'opération écrit les fichiers des composants master dans le compartiment de destination. Pour plus d’informations, consultez la section Sept conseils d'utilisation de S3DistCp sur Amazon EMR pour déplacer efficacement des données entre HDFS et Amazon S3.

Important : Étant donné que vous devez utiliser Amazon EMR avec S3DistCp, assurez-vous de consulter la section Tarification d'Amazon EMR.

AWS DataSync

Pour utiliser AWS DataSync afin de déplacer de grandes quantités de données d'un compartiment Amazon S3 vers un autre compartiment, vous devez créer un lieu de transfert. Pour un compartiment à usage général, consultez la section Création de votre lieu de transfert pour un compartiment à usage général Amazon S3. Pour un compartiment Outpost, consultez la section Création de votre lieu de transfert pour un compartiment S3 sur Outposts.

Remarque :

• Lorsque vous utilisez DataSync, vous encourez des coûts supplémentaires. Avant d'utiliser DataSync, consultez les sections Évaluation des coûts des requêtes S3 lors de l'utilisation de DataSync et Considérations relatives à la classe de stockage avec les transferts Amazon S3.
• Si vous transférez des objets S3 avec des préfixes, DataSync traite les préfixes comme des répertoires et les comptabilise dans les quotas DataSync.

Informations connexes

Comment puis-je identifier les coûts de transfert de données dans Amazon S3 ?