Como faço para monitorar e otimizar os custos do AWS Glue para Apache Spark?

Resolução

Monitorar o uso

Para obter um resumo do custo de uso do Spark em seus trabalhos do AWS Glue, use o Explorador de Custos da AWS.

Conclua as etapas a seguir:

1. Abra o console do Gerenciamento de Faturamento e Custos da AWS.
2. No painel de navegação, escolha Explorador de Custos.
3. No painel de Custos, veja os custos mensais do AWS Glue.

Exibir detalhes de uso por trabalho

Para monitorar os detalhes do trabalho do AWS Glue, como status de execução, duração da execução ou uso da unidade de processamento de dados (DPU), conclua as etapas a seguir:

1. Abra o console do AWS Glue.
2. Em Trabalhos de ETL, escolha Monitoramento da execução de trabalhos.

Exibir custo por tipo de trabalho

Para obter os custos de um tipo específico de trabalho do AWS Glue, conclua as etapas a seguir:

1. Abra o console do Gerenciamento de Faturamento e Custos da AWS.
2. Em Análise de custo e uso, escolha Explorador de custos.
3. Em Parâmetros do relatório, na seção Filtros, em Serviço, escolha Glue.
4. Em Tipo de uso, selecione o filtro do seu trabalho e inclua sua região da AWS:
   Em um trabalho padrão, use o filtro ETL-DPU-Hour. Por exemplo, para a região Oeste dos EUA (Oregon), aplique USW2-ETL-DPU-Hour.
   Em um trabalho flexível, use o filtro ETL-Flex-DPU-Hour. Por exemplo, aplique USW2-ETL-Flex-DPU-Hour.
   Em uma sessão interativa, use o GlueInteractiveSession-DPU-Hour. Por exemplo, aplique USW2-GlueInteractiveSession-DPU-Hour.

Obter o uso e o custo de um trabalho específico

Para obter o custo de um trabalho específico do AWS Glue, conclua as etapas a seguir:

1. Abra o console do AWS Glue.
2. Em Trabalhos de ETL, escolha Monitoramento da execução de trabalhos.
3. Encontre as horas de DPU que você usou no trabalho.
4. Na página de Preços do AWS Glue, na guia Trabalhos de ETL e sessões interativas, selecione sua região.
5. Anote o custo de cada DPU-HOUR para seu tipo de trabalho.
6. Para calcular o custo, multiplique suas horas de DPU pelo custo de cada DPU-HOUR.

Para obter métricas de trabalho do AWS Glue em relação a uso de memória, CPU ou tráfego de dados, configure um alarme do CloudWatch.

Para receber notificações sobre seu trabalho no AWS Glue, consulte Como faço para receber notificações do Amazon SNS quando meu trabalho no AWS Glue muda de estado?

Otimizar custos

Para otimizar os custos de uso do Spark em trabalhos do AWS Glue, execute as seguintes ações:

• Ajuste o trabalho do AWS Glue para reduzir a duração da execução do trabalho e o número necessário de processadores.
• Defina o tipo de execução do trabalho do AWS Glue como Flex para trabalhos não críticos do AWS Glue.
• Ative o ajuste de escala automático no seu trabalho no AWS Glue.
• Crie um perfil de utilização do AWS Glue para restringir os tipos de processadores, limitar a contagem máxima de processadores e limitar a duração da execução de um trabalho.
• Defina um tempo limite apropriado do AWS Glue para sua API JOBS para que o trabalho não seja executado mais do que o runtime esperado.
• Use um tipo de processador e uma contagem de processadores adequados.
• Para testar e desenvolver em um ambiente local, use uma imagem do Docker. O AWS Glue Docker usa recursos computacionais locais em vez dos serviços de nuvem do AWS Glue.
• Use o atributo de marcador de trabalhos do AWS Glue para processar dados de forma incremental.
• Use as métricas do CloudWatch para identificar a capacidade ideal de DPU e ajustar a capacidade conforme necessário.
• Interrompa ou exclua sessões interativas quando não estiver usando-as. Use o Jupyter magic %stop_session ou escolha Interromper sessão na página Sessão interativa do console do AWS Glue. Também é possível usar o Interromper Bloco de anotações para encerrar a sessão.
  Observação: A sessão permanece ativa, mesmo se você fechar a guia do navegador.

Informações relacionadas

Monitorar e otimizar os custos no AWS Glue para Apache Spark