Glue数据抓取器 - 跳过添加分区

Question

【以下的问题经过翻译处理】 S3中的分区数据如下：

some-dataset/2019-12-28/
some-dataset/2019-12-29/
some-dataset/2019-12-30/
some-dataset/2019-12-31/
some-dataset/2020-01-01/
some-dataset/2020-01-02/
some-dataset/2020-01-03/

当运行一个Glue爬虫来创建目录中的模式时，如何配置爬虫来避免将2019年的分区添加到表中？
如果不可能，是否有一种方法可以完全避免注册任何分区并仅创建表？

Answer

【以下的回答经过翻译处理】 您可以向爬虫添加排除项，例如，排除任何2019年的数据"**/2019-**"。对于第二个问题，如果您有一个分区表，那么您至少需要一个分区。当创建一个分区的表之后，可以禁用爬虫。

Glue数据抓取器 - 跳过添加分区

相關內容