1 Resposta
- Mais recentes
- Mais votos
- Mais comentários
0
I've tested a crawler using the same folder structure in S3 as mentioned.
Specified include path as: s3://my-datalake/projects/
Exclude pattern as: incremental_**/**
Using above exclude pattern ignores all files under folders named 'incremental_'. The only additional thing could be that existing crawlers have "UpdateBehavior" as "LOG" - so the already created tables are not being dropped. You could try updating it to "UPDATE_IN_DATABASE" - this will recreate the tables.
Reference - https://docs.aws.amazon.com/glue/latest/dg/define-crawler.html#crawler-data-stores-exclude
respondido há um ano
Conteúdo relevante
- AWS OFICIALAtualizada há 3 anos
- AWS OFICIALAtualizada há 2 meses
- AWS OFICIALAtualizada há um ano
- AWS OFICIALAtualizada há 2 anos