Quero otimizar o desempenho ao usar a AWS Command Line Interface (AWS CLI) para fazer upload de arquivos grandes (1 GB ou mais) para o Amazon Simple Storage Service (Amazon S3).
Breve descrição
Se você fizer upload de arquivos grandes para o Amazon S3, é uma prática recomendada usar os uploads de várias partes. Além disso, configure um limite de tamanho de objeto para uploads de várias partes. Quando você usa a AWS CLI para fazer upload de arquivos, todos os comandos aws s3 de alto nível realizam automaticamente um upload multiparte quando o tamanho do objeto excede o limite. Esses comandos de alto nível incluem aws s3 cp e aws s3 sync.
Para otimizar o desempenho, escolha um dos seguintes métodos:
Resolução
Observação: se você receber mensagens de erro ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solução de problemas da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.
Opção 1: Use o cliente baseado em CRT com a AWS CLI
Para usar o cliente baseado em CRT, conclua as seguintes etapas:
-
Adicione preferred_transfer_client ao seu arquivo de configuração da AWS CLI:
[default]s3 =
preferred_transfer_client = crt
Ou execute o comando configure:
aws configure set default.s3.preferred_transfer_client crt
-
Execute o comando cp para verificar se o cliente CRT está ativo:
aws s3 cp large-file.zip s3://your-bucket-name/ --debug 2>&1 | grep -i crt
Exemplo de saída quando o cliente CRT está ativo:
aws s3 cp large-file.zip s3://your-bucket-name/ --debug 2>&1 | grep -i crt
[DEBUG] [2025-12-01T07:58:46Z] [00007fe20f9b9340] [tls-handler] - Set security policy to AWS-CRT-SDK-TLSv1.0-2025-PQ (minimum_tls_version: 128; cipher_pref: 0)
2025-12-01 07:58:46,742 - MainThread - s3transfer.crt - DEBUG - Recommended CRT throughput target in gbps: None
2025-12-01 07:58:46,742 - MainThread - s3transfer.crt - DEBUG - Using CRT throughput target in gbps: 10.0
-
(Opcional) Configure target_bandwidth para controlar o throughput máximo. Adicione um valor para target_bandwidth ao seu arquivo de configuração da AWS CLI:
[default]
s3 =
preferred_transfer_client = crt
target_bandwidth = 1Gb/s
Ou execute o comando configure:
aws configure set default.s3.target_bandwidth 1Gb/s
Observação: configure isso somente se você tiver requisitos específicos de largura de banda. A AWS CLI otimiza automaticamente a largura de banda com base nas capacidades do seu sistema. A configuração incorreta desse valor pode sobrecarregar os recursos da sua rede ou do seu sistema. É uma prática recomendada deixar essa opção nula.
Depois de ativar o cliente baseado em CRT, a AWS CLI usa automaticamente o cliente para uploads de arquivos. Isso melhora o desempenho e a confiabilidade em comparação com a AWS CLI padrão, especialmente em uploads de arquivos grandes.
Personalize os uploads de várias partes com estes parâmetros:
| Parâmetro | Descrição | Valor padrão | Recomendação |
|---|
| max_bandwidth | Largura de banda máxima para fazer upload de dados para o Amazon S3 | Nenhum (ilimitado) | Definido para evitar a saturação da sua rede. |
| max_concurrent_requests | Número de solicitações simultâneas para o Amazon S3 | 10 | Aumente para 20-50 para conexões de alta largura de banda com recursos de sistema adequados. |
| max_queue_size | Número máximo de tarefas na fila de transferência | 1.000 | Aumente para operações em lote com muitos arquivos. |
| multipart_chunksize | Tamanho de cada parte carregada | 8 MB | Aumente para 16-64 MB para arquivos com mais de 1 GB e com menos de 10.000 fragmentos. |
| multipart_threshold | Tamanho do arquivo que aciona um upload multiparte | 8 MB | Mantenha o padrão para a maioria [?] dos casos de uso. |
Observação: certifique-se de que sua máquina tenha recursos suficientes para suportar o número máximo de solicitações simultâneas de que você precisa.
Opção 2: Ative a aceleração de transferências do S3
A aceleração de transferências do Amazon S3 proporciona transferências rápidas e seguras em longas distâncias entre seu cliente e o Amazon S3. A aceleração de transferências usa os locais de borda distribuídos globalmente do Amazon CloudFront.
A aceleração de transferências gera cobranças adicionais, portanto, não deixe de conferir os preços. Para descobrir se a aceleração de transferências melhora as velocidades de transferência para seu caso de uso, consulte a ferramenta de Amazon S3 Transfer Acceleration Speed Comparison (Comparação de velocidades da aceleração de transferências do Amazon S3).
Observação: a aceleração de transferências não oferece suporte a cópias do CopyObject entre regiões AWS.
Para ativar a aceleração de transferências do Amazon S3, conclua as seguintes etapas:
-
Ative a aceleração de transferências do S3 em seu bucket.
-
Especifique o endpoint acelerado para uma única transferência de arquivos:
aws s3 cp large-file.zip s3://your-bucket-name/ --endpoint-url https://s3-accelerate.amazonaws.com
Ou configure o endpoint em seu arquivo de configuração da CLI para aplicar a todas as transferências de arquivos:
[default]
s3 =
use_accelerate_endpoint = true
Informações relacionadas
AWS CLI S3 Configuration (Configuração da AWS CLI S3)
O que é o AWS Command Line Interface?