Ir para o conteúdo

Como otimizo o desempenho ao usar a AWS CLI para fazer upload de arquivos grandes para o Amazon S3?

5 minuto de leitura
0

Quero otimizar o desempenho ao usar a AWS Command Line Interface (AWS CLI) para fazer upload de arquivos grandes (1 GB ou mais) para o Amazon Simple Storage Service (Amazon S3).

Breve descrição

Se você fizer upload de arquivos grandes para o Amazon S3, é uma prática recomendada usar os uploads de várias partes. Além disso, configure um limite de tamanho de objeto para uploads de várias partes. Quando você usa a AWS CLI para fazer upload de arquivos, todos os comandos aws s3 de alto nível realizam automaticamente um upload multiparte quando o tamanho do objeto excede o limite. Esses comandos de alto nível incluem aws s3 cp e aws s3 sync.

Para otimizar o desempenho, escolha um dos seguintes métodos:

Resolução

Observação: se você receber mensagens de erro ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solução de problemas da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.

Opção 1: Use o cliente baseado em CRT com a AWS CLI

Para usar o cliente baseado em CRT, conclua as seguintes etapas:

  1. Adicione preferred_transfer_client ao seu arquivo de configuração da AWS CLI:

    [default]s3 =
    preferred_transfer_client = crt

    Ou execute o comando configure:

    aws configure set default.s3.preferred_transfer_client crt
  2. Execute o comando cp para verificar se o cliente CRT está ativo:

    aws s3 cp large-file.zip s3://your-bucket-name/ --debug 2>&1 | grep -i crt

    Exemplo de saída quando o cliente CRT está ativo:

    aws s3 cp large-file.zip s3://your-bucket-name/ --debug 2>&1 | grep -i crt  
    [DEBUG] [2025-12-01T07:58:46Z] [00007fe20f9b9340] [tls-handler] - Set security policy to AWS-CRT-SDK-TLSv1.0-2025-PQ (minimum_tls_version: 128; cipher_pref: 0)  
    2025-12-01 07:58:46,742 - MainThread - s3transfer.crt - DEBUG - Recommended CRT throughput target in gbps: None  
    2025-12-01 07:58:46,742 - MainThread - s3transfer.crt - DEBUG - Using CRT throughput target in gbps: 10.0
  3. (Opcional) Configure target_bandwidth para controlar o throughput máximo. Adicione um valor para target_bandwidth ao seu arquivo de configuração da AWS CLI:

    [default]  
    s3 =  
        preferred_transfer_client = crt  
        target_bandwidth = 1Gb/s

    Ou execute o comando configure:

    aws configure set default.s3.target_bandwidth 1Gb/s

    Observação: configure isso somente se você tiver requisitos específicos de largura de banda. A AWS CLI otimiza automaticamente a largura de banda com base nas capacidades do seu sistema. A configuração incorreta desse valor pode sobrecarregar os recursos da sua rede ou do seu sistema. É uma prática recomendada deixar essa opção nula.

Depois de ativar o cliente baseado em CRT, a AWS CLI usa automaticamente o cliente para uploads de arquivos. Isso melhora o desempenho e a confiabilidade em comparação com a AWS CLI padrão, especialmente em uploads de arquivos grandes.

Personalize os uploads de várias partes com estes parâmetros:

ParâmetroDescriçãoValor padrãoRecomendação
max_bandwidthLargura de banda máxima para fazer upload de dados para o Amazon S3Nenhum (ilimitado)Definido para evitar a saturação da sua rede.
max_concurrent_requestsNúmero de solicitações simultâneas para o Amazon S310Aumente para 20-50 para conexões de alta largura de banda com recursos de sistema adequados.
max_queue_sizeNúmero máximo de tarefas na fila de transferência1.000Aumente para operações em lote com muitos arquivos.
multipart_chunksizeTamanho de cada parte carregada8 MBAumente para 16-64 MB para arquivos com mais de 1 GB e com menos de 10.000 fragmentos.
multipart_thresholdTamanho do arquivo que aciona um upload multiparte8 MBMantenha o padrão para a maioria [?] dos casos de uso.

Observação: certifique-se de que sua máquina tenha recursos suficientes para suportar o número máximo de solicitações simultâneas de que você precisa.

Opção 2: Ative a aceleração de transferências do S3

A aceleração de transferências do Amazon S3 proporciona transferências rápidas e seguras em longas distâncias entre seu cliente e o Amazon S3. A aceleração de transferências usa os locais de borda distribuídos globalmente do Amazon CloudFront.

A aceleração de transferências gera cobranças adicionais, portanto, não deixe de conferir os preços. Para descobrir se a aceleração de transferências melhora as velocidades de transferência para seu caso de uso, consulte a ferramenta de Amazon S3 Transfer Acceleration Speed Comparison (Comparação de velocidades da aceleração de transferências do Amazon S3).

Observação: a aceleração de transferências não oferece suporte a cópias do CopyObject entre regiões AWS.

Para ativar a aceleração de transferências do Amazon S3, conclua as seguintes etapas:

  1. Ative a aceleração de transferências do S3 em seu bucket.

  2. Especifique o endpoint acelerado para uma única transferência de arquivos:

    aws s3 cp large-file.zip s3://your-bucket-name/ --endpoint-url https://s3-accelerate.amazonaws.com

    Ou configure o endpoint em seu arquivo de configuração da CLI para aplicar a todas as transferências de arquivos:

    [default]  
    s3 =  
        use_accelerate_endpoint = true

Informações relacionadas

AWS CLI S3 Configuration (Configuração da AWS CLI S3)

O que é o AWS Command Line Interface?

AWS OFICIALAtualizada há um ano