Crawler does not allow to change from recrawl all to only new partitions in aws Glue

When you have multiple datasources in a crawler it does not allow to change the crawling from all paritions again to just new partition

Themen

Analysen

Tags

AWS Glue

Sprache

English

gefragt vor 6 Monaten218 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

Hi KG,

It is in fact possible for AWS Glue to crawl only new partitions that are added in Amazon S3 folders since the last crawl. If the schemas are compatible, new partitions will be added to existing tables. To do so, click on the name of your crawler > edit. Under Step 2: Choose data sources and classifiers, click edit. Select the Data Source of interest and click edit. From there, you should be able to select the option Crawl new sub-folders only. Hope this helps!

rePost-User-9378681

beantwortet vor 6 Monaten

KG
vor 6 Monaten
Hi I did the same steps you mentioned , that is when i get the error where it does not update the crawlering to new partitions only

Relevanter Inhalt

Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren
Warum fügt mein AWS Glue-Crawler der Tabelle keine neuen Partitionen hinzu?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie behebe ich den Fehler „The new key policy will not allow you to update the key policy in the future“, wenn ich versuche, mit AWS CloudFormation einen AWS-KMS-Schlüssel zu erstellen?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich den Fehler “Lambda does not have permission to access the ECR image...” (Lambda hat keine Berechtigung, auf das ECR-Image zuzugreifen...) für eine Lambda-Funktion mit einem Container-Image beheben?
AWS OFFICIALAktualisiert vor einem Jahr