How to merge multiple files from S3 bucket into a single file?

I am very new to AWS S3. Currently my database is ingesting the log file into S3 bucket for each month. I would like to merge the files which are currently available in my bucket and save it as one file in the same bucket. All the files are in csv format.

Could anyone please help me on this?

Tópicos

Armazenamento

Tags

Serviço de armazenamento simples da Amazon

Idioma

English

aws_finder

feita há 6 meses2302 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Hi,

I'd suggest to follow the question https://stackoverflow.com/questions/32448416/amazon-s3-concatenate-small-files on StackOverflow: it explains why and how you should do it + provides the Python code to do it on cloud (you don't want to dowload and re-upload)

Best

Didier

ESPECIALISTA

Didier_Durand

respondido há 6 meses

ESPECIALISTA

Kallu

avaliado há 6 meses

Conteúdo relevante

How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos
Qual política de bucket do S3 posso usar para cumprir a regra s3-bucket-ssl-requests-only do AWS Config?
AWS OFICIALAtualizada há 9 meses
Por que as notificações de eventos do Amazon S3 não são entregues a uma fila do Amazon SQS que usa criptografia no lado do servidor?
AWS OFICIALAtualizada há 8 meses
Por que recebo o erro “Unable to validate the following destination configurations” quando crio uma Notificação de eventos do Amazon S3?
AWS OFICIALAtualizada há 8 meses