AWS Builder Center is the official home for builders on AWS. Share and read what others are working on, follow people who inspire you, explore training and workshops, and find tools to support what you're building.
能同时运行多个Glue Crawler爬虫吗？
0
【以下的问题经过翻译处理】 客户报告说Glue Crawler爬虫是单线程的，每次只能运行一个。这个理解正确吗？
请问设置爬虫的最佳实践是什么？客户有几十个需要频繁抓取的数据集，他们如何同时运行多个爬虫以快速完成Schema检测或数据更改检测？
谢谢。
1回答
- 新しい順
- 投票が多い順
- コメントが多い順
0
【以下的回答经过翻译处理】 每个独立的Crawler都是单线程运行的，且不能同时执行同一个Crawler。默认限制是每个账户最多可以有50个Crawler，在同一时间多个独立的Crawler可以同时执行。
Crawler的设置细节请参考如下链接：https://docs.aws.amazon.com/glue/latest/dg/crawler-configuration.html，如何选择配置Crawler，完全取决于客户的最终目标。
另外需要注意的是，一个单独的Crawler可以爬取多个输入数据存储。如果有多个单独的数据存储，需要在同一时间/频率内进行爬取，您可以让glue将它们合并成一个单一的Schema（在某些情况下），或者多个Schema（如果数据相互独立）。
関連するコンテンツ
質問済み 3年前
- AWS公式更新しました 5年前
