Como posso recuperar dados de log do Amazon CloudWatch Logs?

Breve descrição

Para recuperar seus dados de log do CloudWatch Logs, use as seguintes práticas recomendadas com base no seu caso de uso:

• Transmita dados de log com filtros de assinatura.
• Execute uma consulta do CloudWatch Logs Insights.
• Exporte dados de log para o Amazon Simple Storage Service (Amazon S3).
• Use APIs do CloudWatch.
• Baixe os logs em um arquivo.csv.

Resolução

Transmitir dados de log com filtros de assinatura

Para recuperar seus dados de log do CloudWatch Logs em tempo real, use filtros de assinatura. Filtros de assinatura de dados de log evitam o controle de utilização de APIs do CloudWatch. Para obter mais informações, consulte Real-time processing of log data with subscriptions e Log group-level subscription filters. Para o Amazon Kinesis Data Streams, as APIs de serviços limitados são automaticamente repetidas.

Executar uma consulta do CloudWatch Logs Insights

Para pesquisar e analisar seus dados de log, execute uma consulta no CloudWatch Logs Insights. Consultas ajudam você a responder a problemas e identificar causas para uma solução de problemas adicional. Para obter mais informações, consulte Para obter mais informações, consulte Analyzing log data with CloudWatch Logs Insights.

Exportar dados de log para o Amazon S3

Você pode exportar dados do CloudWatch Logs para o Amazon S3 em casos de uso em lote. A exportação de dados de log pode levar até 12 horas para ser disponibilizada no CloudWatch Logs. Para análise e processamento em tempo real, use filtros de assinatura.

Observação: uma conta da AWS pode ter somente uma tarefa de exportação para dados de log no estado PENDING, PENDING_CANCEL ou RUNNING.

Usar APIs do CloudWatch

Para localizar manualmente seus dados de registro, use as APIs GetLogEvents ou FilterLogEvents do CloudWatch. Essas APIs não são escaláveis devido à cota de transações por segundo (TPS). Para as cotas atuais, consulte CloudWatch Logs quotas. Em caso de controle de utilização de APIs, use filtros de assinatura.

Baixar os logs em um arquivo.csv

Observação: se você receber erros ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solucionar erros da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.

Para recuperar seus dados de log no formato de arquivo .csv, use os seguintes métodos:

• Use o console do CloudWatch.
• Use a AWS CLI.
• Use o CloudWatch Logs Insights.

Usar o console do CloudWatch

Conclua as seguintes etapas:

1. Abra o console do CloudWatch e selecione seu grupo de logs.
2. Escolha o fluxo de log que contém os eventos de log que você deseja baixar.
3. Escolha Ações e depois Baixar resultados da pesquisa.

Use a AWS CLI

Para recuperar eventos de log no formato de arquivo .csv, execute o comando get-log-events:

**Observação:**Substitua example-loggroup-name pelo nome do seu grupo de log e example-logstream-namepelo nome do seu stream de log.

aws logs get-log-events --log-group-name example-loggroup-name  --log-stream-name example-logstream-name  --start-time 1705147529 --end-time 1705233929 > log_events.csv

Observação: o arquivo .csv é armazenado no mesmo diretório do qual o comando foi iniciado. Além disso, a AWS CLI usa a região e o perfil padrão da AWS configurados para a estação de trabalho. Especifique a região apropriada. A API GetLogEvents pode retornar resultados vazios quando há mais eventos de log disponíveis por meio do token.

Usar o CloudWatch Logs Insights

Conclua as seguintes etapas:

1. Execute uma consulta para recuperar seus dados de log.
2. Dependendo do número de logs, use um dos seguintes métodos para exportar os dados:
   Para menos de 10.000 logs, escolha Exportar resultados.
   Para mais de 10.000 logs, exporte os logs para um bucket do Amazon S3. Em seguida, baixe os dados em um arquivo .csv.