Google heeft onlangs een nieuwe webcrawler geïntroduceerd met de naam ‘GoogleOther’, ontworpen om de druk op Googlebot, de belangrijkste zoekindexcrawler, te verlichten.
De toevoeging van deze nieuwe crawler helpt Google bij het optimaliseren en stroomlijnen van zijn crawlactiviteiten.
Webcrawlers, ook wel robots of spiders genoemd, ontdekken en scannen websites automatisch.
Googlebot is verantwoordelijk voor het maken van de index voor Google Zoeken.
GoogleOther is een generieke webcrawler die door verschillende productteams van Google zal worden gebruikt om openbaar toegankelijke inhoud van websites op te halen.
In een LinkedIn-bericht deelt Google-zoekanalist Gary Illyes meer details.
Verdeling van verantwoordelijkheden tussen Googlebot en GoogleOther
Het belangrijkste doel van de nieuwe crawler van GoogleOther is om de niet-essentiële taken over te nemen die momenteel door Googlebot worden uitgevoerd.
Door dit te doen, kan Googlebot zich nu alleen richten op het bouwen van de zoekindex die wordt gebruikt door Google Zoeken.
In de tussentijd zal GoogleOther andere taken uitvoeren, zoals crawls voor onderzoek en ontwikkeling (R&D), die niet direct verband houden met zoekindexering.
Illyes stelt op LinkedIn:
“We hebben een nieuwe crawler, GoogleOther, aan onze lijst met crawlers toegevoegd die uiteindelijk de druk op Googlebot zal verminderen. Dit is een no-op verandering voor jou, maar toch een interessante, denk ik.
Terwijl we optimaliseren hoe en wat Googlebot crawlt, wilden we er onder andere voor zorgen dat Googlebot-crawltaken alleen intern worden gebruikt om de index op te bouwen die wordt gebruikt door Zoeken. Daarom hebben we een nieuwe crawler toegevoegd, GoogleOther, die enkele van de andere taken van Googlebot zal vervangen, zoals R&D-crawls om wat crawlcapaciteit vrij te maken voor Googlebot.”
GoogleOther neemt de Googlebot-infrastructuur over
GoogleOther deelt dezelfde infrastructuur als Googlebot, wat betekent dat het dezelfde beperkingen en functies heeft, waaronder uploadbeperkingen voor hosts, robots.txt (zij het met een ander user-agent-token), versie van HTTP-protocol en ophaalgrootte.
Kortom, GoogleOther is Googlebot dat onder een andere naam opereert.
Gevolgen voor SEO’s en site-eigenaren
De introductie van GoogleOther zou geen significante invloed moeten hebben op websites, aangezien het op dezelfde infrastructuur en beperkingen werkt als Googlebot.
Het is echter een opmerkelijke ontwikkeling in de voortdurende inspanningen van Google om zijn webcrawlingprocessen te optimaliseren en te stroomlijnen.
Als u zich zorgen maakt over GoogleOther, kunt u dit op de volgende manieren beheren:
Analyseer serverlogboeken: Controleer regelmatig serverlogboeken om verzoeken van GoogleOther te identificeren. Dit helpt u te begrijpen hoe vaak uw website wordt gecrawld en welke pagina’s deze bezoekt.
Update robots.txt: Zorg ervoor dat uw robots.txt-bestand is bijgewerkt met specifieke regels voor GoogleOther, indien nodig. Dit helpt u hun toegangs- en kruipgedrag op uw website te beheersen.
Houd de crawlstatistieken bij in Google Search Console: Houd uw crawlstatistieken in Google Search Console in de gaten voor eventuele wijzigingen in de crawlfrequentie, het crawlbudget of het aantal geïndexeerde pagina’s sinds de introductie van GoogleOther.
Houd de prestaties van de website bij: Controleer regelmatig de prestatiestatistieken van uw website, zoals laadtijden, bouncepercentages en gebruikersbetrokkenheid, om mogelijke correlaties met de crawlactiviteiten van GoogleOther te identificeren. Dit helpt u te detecteren of de nieuwe crawler onvoorziene problemen op uw website veroorzaakt.
bron: Google
Uitgelichte afbeelding: BestForBest/Shutterstock
Hey, ik ben Brent, en ik speel al een lange tijd mee in de SEO scene. Ik ben vooral heel actief in de Amerikaanse markt, en hou dan ook wel van een uitdaging. Ik ben sinds kort aan het uitbreiden binnenin de Benelux, en besluit hier dan ook te oversharen!
Wil je meer leren, klik dan op lees meer!
