Google heeft richtlijnen gepubliceerd over hoe de crawlsnelheid van Googlebot op de juiste manier kan worden verlaagd vanwege een toename van het misbruik van 403/404-antwoordcodes, wat een negatieve invloed kan hebben op websites.

De gids vermeldde dat misbruik van responscodes in opkomst was door webuitgevers en inhouddistributienetwerken.

Googlebot-snelheidsbeperking

Googlebot is de geautomatiseerde software van Google die websites bezoekt (crawlt) en inhoud downloadt.

Het beperken van de snelheid van Googlebot betekent het verlagen van de snelheid waarmee Google een website crawlt.

De uitdrukking Google crawl rate verwijst naar het aantal webpagina-verzoeken per seconde dat Googlebot doet.

Soms wil een uitgever Googlebot vertragen, bijvoorbeeld als de server te zwaar wordt belast.

Google beveelt verschillende manieren aan om de crawlsnelheid van Googlebot te beperken, de belangrijkste is door Google Search Console te gebruiken.

Snelheidsbeperking via de zoekconsole verlaagt uw kruipsnelheid gedurende een periode van 90 dagen.

Een andere manier om de crawlsnelheid van Google te beïnvloeden, is door Robots.txt te gebruiken om te voorkomen dat Googlebot afzonderlijke pagina’s, mappen (categorieën) of de hele website crawlt.

Een goede zaak van Robots.txt is dat het Google alleen vraagt ​​om niet te crawlen, je vraagt ​​Google niet om een ​​site uit de index te verwijderen.

Het gebruik van het robots.txt-bestand kan echter leiden tot “langetermijneffecten” op de kruippatronen van Google.

Misschien is daarom de ideale oplossing om Search Console te gebruiken.

Google: Stop rate capping met 403/404

Google publiceerde richtlijnen op zijn Search Central-blog waarin uitgevers werden geadviseerd om geen 4XX-responscodes te gebruiken (behalve responscode 429).

De blogpost vermeldde specifiek misbruik van 403- en 404-foutreactiecodes om de snelheid te beperken, maar de richtlijnen zijn van toepassing op alle 4XX-reactiecodes behalve de 429-reactie.

De aanbeveling is nodig omdat ze een toename hebben gezien van uitgevers die deze foutreactiecodes gebruiken om de crawlsnelheid van Google te beperken.

De 403-responscode houdt in dat de bezoeker (in dit geval Googlebot) de webpagina niet mag bezoeken.

De 404-responscode vertelt Googlebot dat de webpagina volledig is verdwenen.

De server error response code 429 betekent “te veel verzoeken” en dit is een geldige error response.

Na verloop van tijd kan het zijn dat Google webpagina’s uit de zoekindex verwijdert als ze deze twee foutreactiecodes blijven gebruiken.

Dit betekent dat de pagina’s niet in aanmerking komen voor positie in de zoekresultaten.

Google schreef:

“De afgelopen maanden hebben we een toename gezien van website-eigenaren en sommige Content Delivery Networks (CDN’s) die 404- en andere 4xx-clientfouten (maar niet 429) proberen te gebruiken om de crawlsnelheid van Googlebot te verlagen.

De korte versie van deze blogpost is: Gelieve niet…”

Uiteindelijk raadt Google aan om foutreactiecodes 500, 503 of 429 te gebruiken.

De responscode 500 betekent dat er een interne serverfout is opgetreden. Het 503-antwoord betekent dat de server het verzoek om een ​​webpagina niet kan verwerken.

Google behandelt beide typen reacties als tijdelijke fouten. U komt dus later terug om te controleren of de pagina’s weer beschikbaar zijn.

Een 429-foutreactie vertelt de bot dat hij te veel verzoeken doet en kan hem ook vragen een bepaalde tijd te wachten voordat hij weer gaat crawlen.

Google raadt aan hun ontwikkelaarspagina te raadplegen over de snelheidsbeperking van Googlebot.

Lees de blogpost van Google:
Gebruik 403 of 404 niet voor snelheidsbeperking

Uitgelichte afbeelding door Shutterstock/Krakenimages.com

Source link