Crawler does not allow to change from recrawl all to only new partitions in aws Glue

When you have multiple datasources in a crawler it does not allow to change the crawling from all paritions again to just new partition

Argomenti

Analisi

Tag

AWS Glue

Lingua

English

posta 6 mesi fa224 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

Hi KG,

It is in fact possible for AWS Glue to crawl only new partitions that are added in Amazon S3 folders since the last crawl. If the schemas are compatible, new partitions will be added to existing tables. To do so, click on the name of your crawler > edit. Under Step 2: Choose data sources and classifiers, click edit. Select the Data Source of interest and click edit. From there, you should be able to select the option Crawl new sub-folders only. Hope this helps!

rePost-User-9378681

con risposta 6 mesi fa

KG
6 mesi fa
Hi I did the same steps you mentioned , that is when i get the error where it does not update the crawlering to new partitions only

Contenuto pertinente

Come posso risolvere l'errore "Your current user or role does not have access to Kubernetes objects on this EKS cluster" in Amazon EKS?
AWS UFFICIALEAggiornata un anno fa
Come faccio a risolvere l'errore "The new key policy will not allow you to update the key policy in the future" quando provo a creare una policy della chiave AWS KMS tramite AWS CloudFormation?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere il problema "SYNTAX_ERROR: line 1:8: SELECT * not allowed in queries without FROM clause" in Amazon Athena?
AWS UFFICIALEAggiornata un anno fa
Come fa il crawler AWS Glue a rilevare lo schema?
AWS UFFICIALEAggiornata 2 anni fa