AWS Builder Center: Learn, Build and Connect with builders in the AWS community

AWS Builder Center is the official home for builders on AWS. Share and read what others are working on, follow people who inspire you, explore training and workshops, and find tools to support what you're building.

Google bots crawl rate

Hello, According to Google, we have maximized the crawl rate on our servers, which can cause excessive crawling that affects the performance of the websites. Is there a way to limit the crawl rate? Ideally without this causing Google to eliminate products from Adwords campaigns because it cannot access the product landing pages.

Sujets: Retail
Balises: Commerce électronique
Langue: English

Marc

demandé il y a 2 ans398 vues

2 réponses

Le plus récent
Le plus de votes
La plupart des commentaires

Ces réponses sont-elles utiles ? Votez pour la bonne réponse pour aider la communauté à bénéficier de vos connaissances.

Hi, find the official doc here on this very item. https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate

EXPERT

Giovanni Lauria

répondu il y a 2 ans

You can use Robots.txt

here is a sample file for you

User-agent: *
Disallow: /private/
Disallow: /temp/
Disallow: /test/

User-agent: Googlebot
Allow: /
Disallow: /example-subdirectory/
Crawl-delay: 10

User-agent: Bingbot
Allow: /
Disallow: /example-subdirectory/
Crawl-delay: 10

# Sitemap link
Sitemap: https://www.yoursite.com/sitemap.xml

khnaz35

répondu il y a 2 ans

Contenus pertinents

L3 Troubleshooting Workshop - Error when trying to increase the size of the Application settings VHD
User-0629970
demandé il y a 2 ans
Coût par service / Services Cost
Réponse acceptée
Cyrille
demandé il y a 2 ans
Amazon Q developper Pro / Vscode
Ahmed BENHARRAT
demandé il y a un an
AWS Blu Age Go live-Test application-test online
User-0629970
demandé il y a 2 ans
Comment puis-je résoudre l’erreur « maximum number of failed attempts » lorsque j’essaie de vérifier mon compte AWS par téléphone ?
AWS OFFICIELA mis à jour il y a 5 ans
Comment résoudre l'erreur « remote session was disconnected » qui s'affiche lorsque j'utilise le protocole RDP pour me connecter à une instance Windows Amazon EC2 ?
AWS OFFICIELA mis à jour il y a 10 mois
Comment résoudre l'erreur « Failed to connect to the URL of your data source » (Impossible de se connecter à l'URL de votre source de données) lorsque j'utilise SharePoint comme source de données dans les bases de connaissances Amazon Bedrock ?
AWS OFFICIELA mis à jour il y a un an
Comment résoudre l'erreur « Lambda does not have permission to access the ECR image » pour une image de conteneur de fonction Lambda ?
AWS OFFICIELA mis à jour il y a 9 mois

Google bots crawl rate

Ajoutez votre réponse

Contenus pertinents