スキップしてコンテンツを表示
AWS re:Postを使用することにより、以下に同意したことになります AWS re:Post 利用規約
AWS re:Postre:Post
re:Postに関して

Google bots crawl rate

0

Hello, According to Google, we have maximized the crawl rate on our servers, which can cause excessive crawling that affects the performance of the websites. Is there a way to limit the crawl rate? Ideally without this causing Google to eliminate products from Adwords campaigns because it cannot access the product landing pages.

トピック
Retail
タグ
eコマース
言語
English

質問済み 2年前432ビュー

2回答
0

Hi, find the official doc here on this very item. https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate

エキスパート

回答済み 2年前

0

You can use Robots.txt

here is a sample file for you

User-agent: *
Disallow: /private/
Disallow: /temp/
Disallow: /test/

User-agent: Googlebot
Allow: /
Disallow: /example-subdirectory/
Crawl-delay: 10

User-agent: Bingbot
Allow: /
Disallow: /example-subdirectory/
Crawl-delay: 10

# Sitemap link
Sitemap: https://www.yoursite.com/sitemap.xml

回答済み 2年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

関連するコンテンツ