Crawlen is de eerste stap in de reis van een pagina naar een resultatenpagina.
Zoekmachines moeten uw pagina ontdekken voordat ze deze kunnen evalueren en kunnen beslissen waar ze in de resultaten moeten worden geplaatst.
Het web crawlen is een resource-intensief proces. Zoekmachines zoals Google vertrouwen op honderden miljarden webpagina’s, video’s, afbeeldingen, producten, documenten, boeken, enz. om zoekresultaten te leveren.
Daarom geven ze prioriteit aan crawlpogingen om bronnen te sparen en de websites die ze bezoeken te laden.
Er is een limiet aan hoeveel tijd trackers aan u kunnen besteden.
De hoeveelheid tijd die Google besteedt aan het crawlen van een site, wordt het crawlbudget van de site genoemd.
Alle technische problemen waardoor Google uw site niet kan crawlen, worden crawlfouten genoemd.
Kleinere sites zullen waarschijnlijk niet worden getroffen. Wanneer u meer dan een paar duizend URL’s bereikt, is het essentieel om Googlebot te helpen ontdekken en prioriteren welke inhoud moet worden gecrawld en wanneer en hoeveel serverbronnen moeten worden toegewezen.
Gezien dat het uitgangspunt is, vraag je je misschien af: is hoe Google mijn website kan crawlen een rankingfactor?
[Deep Dive:] De complete gids voor Google-rangschikkingsfactoren
De claim: crawlfouten en crawlbudget als rankingfactoren
Het verminderen van crawlfouten en het verbeteren van uw crawlbudget zijn de twee belangrijkste aandachtspunten van technische SEO, en terecht!
Investeer tien- of honderdduizenden dollars per jaar om inhoud van hoge kwaliteit te maken, druk vervolgens op publiceren en het enige wat u kunt doen is hopen dat uw inspanningen in de zoekresultaten verschijnen.
Het probleem is dat als Google een pagina niet crawlt vanwege een fout of een beperkt crawlbudget, de pagina nergens voor kan worden gerangschikt.
Om een pagina in de zoekresultaten van Google te laten verschijnen, moet deze eerst worden gecrawld door Googlebot.
Daarom beschouwen sommige marketeers crawlbudget als een rankingfactor.
Laten we eens kijken of er bewijs is om deze bewering te ondersteunen.
Het bewijs: trackingfouten en trackingbudget als rangschikkingsfactoren
Begrijpen hoe een websitepagina op de resultatenpagina van de zoekmachine (SERP) terechtkomt, is essentieel om te bepalen of het crawlbudget een rankingfactor kan zijn.
Het proces bestaat uit drie stappen: crawlen, indexeren en rangschikken.
Lees over de fijne kneepjes van het proces in het eBook van SEJ, “How Search Engines Work.”
Crawlfouten en crawlfouten staan onder ‘crawling’; robots volgen links om pagina’s te ontdekken.
Indexeren is het analyseren van een pagina en deze opslaan in een catalogus om deze gemakkelijk terug te vinden.
Nadat een pagina is gecrawld en geïndexeerd, kan deze worden weergegeven in zoekresultaten.
De rangschikking omvat in feite de meest relevante webpagina bovenaan de zoekresultaten, gevolgd door de andere pagina’s, op basis van hoe Google denkt dat de pagina de zoekopdracht beantwoordt.
De rangschikkingsfase omvat het grootste deel van de analyse die wordt uitgevoerd door de algoritmen van Google. Om als rangschikkingsfactor te worden beschouwd, moet u tijdens de rangschikkingsfase ergens gewicht aan geven.
Hoewel tracking vereist is voor rangschikking zodra hieraan is voldaan, wordt deze voorwaarde niet gewogen tijdens rangschikking.
Als dit het probleem niet volledig voor u oplost:
Google gaat rechtstreeks in op de vraag of crawlen een rankingfactor is in het gedeelte ‘Topvragen’ van het Google Search Central-blog.
Screenshot van Google Search Central, juni 2022
De documentatie van Google verzekert lezers dat hoewel crawlen noodzakelijk is om in de zoekresultaten te verschijnen, het geen rankingfactor is.
[Discover:] Meer informatie over de rankingfactoren van Google
Ons oordeel: Crawlfouten en crawlbudget zijn geen rankingfactoren
Google bepaalt de ranking door vele factoren. Crawlfouten en crawlbudgetten horen daar echter niet bij.
Beschouw crawlen als het toegangspunt tot de zoekresultaten van Google.
Zoekmachines moeten uw website kunnen crawlen om uw pagina’s te kunnen indexeren. Indexering is noodzakelijk voor classificatie. Maar een groter crawlbudget is niet verantwoordelijk voor betere posities in de zoekresultaten.
Uitgelichte afbeelding: Paulo Bobita/Search Engine Journal

Hey, ik ben Brent, en ik speel al een lange tijd mee in de SEO scene. Ik ben vooral heel actief in de Amerikaanse markt, en hou dan ook wel van een uitdaging. Ik ben sinds kort aan het uitbreiden binnenin de Benelux, en besluit hier dan ook te oversharen!
Wil je meer leren, klik dan op lees meer!