1 Risposta
- Più recenti
- Maggior numero di voti
- Maggior numero di commenti
0
I've tested a crawler using the same folder structure in S3 as mentioned.
Specified include path as: s3://my-datalake/projects/
Exclude pattern as: incremental_**/**
Using above exclude pattern ignores all files under folders named 'incremental_'. The only additional thing could be that existing crawlers have "UpdateBehavior" as "LOG" - so the already created tables are not being dropped. You could try updating it to "UPDATE_IN_DATABASE" - this will recreate the tables.
Reference - https://docs.aws.amazon.com/glue/latest/dg/define-crawler.html#crawler-data-stores-exclude
con risposta un anno fa
Contenuto pertinente
- AWS UFFICIALEAggiornata 2 anni fa
- AWS UFFICIALEAggiornata 3 anni fa
- AWS UFFICIALEAggiornata un anno fa