Como faço para reduzir altos custos inesperados do Amazon S3?

Breve descrição

Para identificar em que tipo de cobrança do Amazon S3 você incorre, analise sua cobrança e uso atuais do Amazon S3. Também é possível usar os relatórios de uso da AWS para visualizar os buckets do S3 que incorrem em cobranças.

Com base no tipo de uso, use os métodos a seguir para ajudar você a entender sua cobrança:

• Use a Lente de armazenamento do Amazon S3 para visualizar o uso e a atividade em seu armazenamento do S3. O painel padrão é atualizado diariamente com as métricas de armazenamento de todos os buckets do S3 em sua conta da AWS.
• Use o registro em log de acesso ao servidor ou os eventos de dados do AWS CloudTrail para monitorar solicitações para seus buckets do S3.

Resolução

Observação: se você receber mensagens de erro ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solução de problemas da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.

Para reduzir seus custos de cobrança do Amazon S3, realize as seguintes ações.

Exclua uploads multiparte incompletos

Após o início de um upload multiparte, o Amazon S3 retém todas as partes carregadas do arquivo até que o upload multiparte seja concluído ou interrompido. Se você não concluir o upload multiparte, o Amazon S3 continuará armazenando as partes carregadas e você será cobrado pelo armazenamento.

Quando você executa o comando abort-multipart-upload da AWS CLI para interromper o upload multiparte, o comando exclui as partes carregadas incompletas. No entanto, outras ferramentas podem manter as partes carregadas incompletas quando você interrompe o upload multiparte.

Para excluir uploads multiparte incompletos, siga as seguintes práticas recomendadas:

• Crie uma política de ciclo de vida para excluir uploads multiparte incompletos após um determinado número de dias.
• Use a chamada de API ListMultipartUploads do Amazon S3 para listar seus uploads multiparte. Em seguida, use o AbortMultipartUpload para encerrar os uploads multiparte que falharam ou que você deseja cancelar.
• Use a Lente de armazenamento do Amazon S3 para descobrir o número e o tamanho dos uploads multiparte incompletos em buckets na sua conta.
• Use a Lente de armazenamento do Amazon S3 para identificar quais buckets do S3 contêm uploads multiparte.

Exclua versões anteriores de objetos

Importante: o Amazon S3 não restaura nenhum dado excluído de seus buckets.

Se você ativou o atributo Versionamento do S3 em seu bucket, cada objeto pode ter várias versões que contribuem para seus custos de armazenamento.

Para analisar as versões dos objetos, use o console do Amazon S3 ou execute a chamada de API ListObjectVersions. Em seguida, exclua as versões do objeto desnecessárias.

Em um bucket com versionamento ativado, é necessário especificar o ID da versão do objeto para excluir permanentemente uma versão do objeto. Se você executar uma solicitação de exclusão no objeto, o Amazon S3 adiciona um marcador de exclusão ao objeto. O marcador de exclusão se torna a versão atual do objeto e ele se torna a versão anterior. No entanto, o Amazon S3 não exclui o objeto e suas versões.

Para gerenciar versões de objetos, realize as seguintes ações:

• Crie uma regra de ciclo de vida.
  Importante: não é possível reverter as exclusões permanentes no Amazon S3. Certifique-se de consultar os parâmetros da sua regra de ciclo de vida.
• Use as métricas da Lente de armazenamento do Amazon S3 para descobrir o número de versões atuais e anteriores e de marcadores de exclusão nos buckets da sua conta.

Analise seus custos de mudança de classe de armazenamento

Você pode incorrer em custos ao alterar objetos de uma classe de armazenamento para outra.

Além disso, a AWS cobra por 40 KB de metadados adicionais para cada objeto arquivado que você armazena no Amazon S3 Glacier Flexible Retrieval e no Amazon S3 Glacier Deep Archive. Você paga 8 KB na taxa S3 Standard e 32 KB na taxa S3 Glacier Flexible Retrieval ou S3 Deep Archive.

Para obter mais informações, consulte Transição de objetos usando o Amazon S3 Lifecycle.

É uma prática recomendada agregar vários objetos pequenos em alguns objetos grandes para reduzir os custos gerais.

Ao definir uma regra de configuração de ciclo de vida que realiza a transição dos objetos de um bucket inteiro para outra classe de armazenamento, você incorre em cobranças do Amazon S3. Para verificar se uma regra de ciclo de vida causou um aumento de custo, analise seu histórico de eventos do AWS CloudTrail e os logs de acesso ao servidor do Amazon S3 para chamadas PutBucketLifecycleConfiguration. Além disso, verifique os logs das ações de ciclo de vida do S3.

Para otimizar os custos de armazenamento, é uma prática recomendada usar a classe de armazenamento S3 Intelligent-Tiering, que move dados automaticamente com base em seus requisitos de acesso.

Também é possível usar a análise de classe de armazenamento do S3 para descobrir quantos dados há em cada classe de armazenamento.

Observação: você deve configurar a análise da classe de armazenamento do S3 em cada bucket.

Analise seus custos de recuperação de dados

Os objetos que você armazena nas seguintes classes de armazenamento têm custos de recuperação de dados:

• S3 Standard-IA
• S3 One Zone-IA
• S3 Glacier Flexible Retrieval
• Classes de armazenamento do S3 Glacier Deep Archive

Por exemplo, se você recuperar objetos da classe de armazenamento S3 Glacier Flexible Retrieval, o custo da recuperação depende da sua opção de recuperação em massa. O custo total da recuperação padrão é menor do que o custo total da recuperação expressa.

Não há cobrança por recuperações em massa de objetos armazenados na S3 Glacier Flexible Retrieval. Para ajudar a monitorar as diferentes solicitações de armazenamento e o uso de dados, use o painel da Lente de armazenamento do S3.

Monitore as solicitações em seu bucket

Use os métodos a seguir para monitorar as solicitações para seu bucket e analisar as cobranças incorridas por um grande número de solicitações:

• A AWS não cobra pela ativação do registro em log de acesso ao servidor. No entanto, você incorre nas cobranças de armazenamento padrão usuais para os arquivos de log que o atributo fornece a você.
• Você incorre em cobranças para usar o registro em log em nível de objeto do AWS CloudTrail.
• Você incorre em cobranças para usar as Amazon CloudWatch Metrics.

Para reduzir os custos com cobranças de transferência de dados OUT, é possível usar uma instância do Amazon Elastic Compute Cloud (Amazon EC2) para acessar seu bucket. É necessário que a instância do Amazon EC2 esteja em uma Amazon Virtual Private Cloud (Amazon VPC) na mesma região da AWS de seu bucket.

Analise as alterações no tamanho do seu bucket

É possível analisar as alterações no tamanho do seu bucket com o console do S3, um comando da AWS CLI ou o CloudWatch.

Para comparar o tamanho atual e o anterior do seu bucket no console, conclua as seguintes etapas:

1. Abra o console do Amazon S3.
2. Clique em Buckets e depois selecione seu bucket.
3. Clique na guia Gerenciamento.
4. Selecione Métricas.

Ou execute o seguinte comando ls da AWS CLI:

aws s3 ls --summarize --human-readable --recursive s3:///bucket-name

Observação: substitua bucket-name pelo nome do seu bucket.

Exemplo de saída:

2021-10-07 21:32:57 452 Bytes foo/bar/car/petrol
2021-10-07 21:32:57 896 Bytes foo/bar/truck/diesel
2021-10-07 21:32:57 189 Bytes foo/bar/hybrid/battery
2021-10-07 21:32:57 398 Bytes vehicles.txt

Total Objects: 4
Total Size: 2.9 MiB

Também é possível usar o CloudWatch para monitorar suas métricas de armazenamento. Monitore as mudanças no tamanho de bucket diariamente, semanalmente e mensalmente usando a Lente de armazenamento do S3.

Analise o custo de buckets individuais

Para identificar um bucket que gera os custos mais altos, ative as tags de alocação de custos em seus buckets. Em seguida, use o Explorador de Custos da AWS para analisar seus buckets. Para obter mais informações, consulte Como faço para descobrir o custo dos meus buckets do Amazon S3?

Entenda a relação entre seu uso e suas cobranças

Seu relatório de uso registra o uso de armazenamento em bytes por hora e seu relatório de cobrança registra o uso de armazenamento em gigabytes por mês. Para entender a relação entre seu uso de armazenamento e as cobranças de armazenamento, converta bytes por hora em gigabytes por mês. Para ver um exemplo de conversão, consulte Como serei cobrado pela utilização do Amazon S3 em Perguntas frequentes sobre o Amazon S3.

É possível fazer download de seu relatório de uso do Amazon S3 no painel de Gerenciamento de faturamento e custos da AWS. Ou crie um painel da Lente de armazenamento do S3 para obter métricas detalhadas de armazenamento e faturamento.

Informações relacionadas

Preços do Amazon S3

Como usar Amazon Athena para analisar logs de acesso ao servidor do Amazon S3?