Google heeft zijn centrale zoekdocumentatie voor het verifiëren van Googlebot geüpdatet door documentatie toe te voegen over door gebruikers geactiveerde botbezoeken, informatie die ontbrak in de eerdere documentatie van Googlebot, wat jarenlang voor verwarring heeft gezorgd, waarbij sommige uitgevers het bereik van legitieme bezoeken blokkeerden.
Onlangs bijgewerkte botdocumentatie
Google heeft nieuwe documentatie toegevoegd die de drie verschillende soorten bots categoriseert die uitgevers mogen verwachten.
Dit zijn de drie categorieën van Google Bots:
Googlebot – Zoekcrawler Crawlers voor speciale gevallen Door gebruiker geactiveerde retrievers (GoogleUserContent)
De laatste, GoogleUserContent, is er een die uitgevers lange tijd in verwarring heeft gebracht omdat Google er geen documentatie over had.
Dit is wat Google zegt over GoogleUserContent:
“Door gebruiker geactiveerde retrievers
Producttools en functies waarbij de eindgebruiker een herstel activeert.
Google Site Verifier handelt bijvoorbeeld op verzoek van een gebruiker.
Omdat het ophalen is aangevraagd door een gebruiker, worden robots.txt-regels genegeerd door deze retrievers.”
In de documentatie staat dat het omgekeerde DNS-masker het volgende domein zal tonen:
“***-***-***-***.gae.googleusercontent.com”
Wat mij in het verleden is verteld door sommigen in de SEO-gemeenschap, is dat botactiviteit van IP-adressen die zijn gekoppeld aan GoogleUserContent.com werd geactiveerd wanneer een gebruiker een website bekeek met behulp van een vertaalfunctie die vroeger in de zoekresultaten stond, een functie. die niet meer bestaat in de SERP’s van Google.
Ik weet niet of dit waar is of niet. Het was voldoende om te weten dat het een Google-bezoek was, geactiveerd door gebruikers.
Nieuwe Google-documentatie legt uit dat botactiviteit van IP-adressen die zijn gekoppeld aan GoogleUserContent.com kan worden gedetecteerd met behulp van de Google Site Verifier-tool.
Maar Google zegt niet wat er nog meer een bot zou kunnen activeren vanaf de IP-adressen van GoogleUserContent.com.
De andere wijziging in de documentatie is een verwijzing naar googleusercontent.com in de context van de IP-adressen die zijn toegewezen aan de domeinnaam, GoogleUserContent.com.
Dit is de nieuwe tekst:
“Controleer of de domeinnaam googlebot.com, google.com of googleusercontent.com is.”
Een andere nieuwe toevoeging is de volgende tekst die is uitgebreid van de oude pagina:
“Als alternatief kunt u Googlebot identificeren op IP-adres door het IP-adres van de tracker te matchen met Google’s crawler- en crawler-IP-bereiklijsten:
Googlebot
Speciale crawlers zoals AdsBot
Door gebruiker geactiveerde ophaalacties”
Google Bot-identificatiedocumentatie
De nieuwe documentatie heeft eindelijk iets over bots die IP-adressen gebruiken die zijn gekoppeld aan GoogleUserContent.
Zoekmarketeers raakten in de war door die IP-adressen en gingen ervan uit dat die bots spam waren.
Een helpdiscussie van Google Search Console uit 2020 laat zien hoe verward mensen waren over de activiteit die verband houdt met GoogleUserContent.
Velen in deze discussie concludeerden terecht dat het geen Googlebot was, maar concludeerden vervolgens ten onrechte dat het een nep-bot was die zich voordeed als Google.
Een gebruiker plaatste:
“Het gedrag dat ik van deze adressen zie, lijkt erg op (zo niet identiek) aan legitiem Googlebot-gedrag en het treft verschillende van onze sites.
… Zo niet, dan lijkt dit erop te wijzen dat er wijdverspreide kwaadaardige botactiviteit is van iemand die heel erg zijn best doet om op onze sites op Google te lijken, wat een punt van zorg is.
Na verschillende antwoorden concludeert de persoon die de discussie startte dat de activiteit van GoogleUserContent spam was.
Zij schreven:
“… De Google-bots in kwestie bootsen officiële user-agents na, maar het bewijs lijkt erop te wijzen dat ze nep zijn.
Ik blokkeer ze voorlopig.”
We weten nu dat de botactiviteit op de IP’s die zijn gekoppeld aan GoogleUserContent geen spambots of hackers zijn.
Ze komen echt van Google. Uitgevers die momenteel IP-adressen blokkeren die zijn gekoppeld aan GoogleUserContent, zouden deze waarschijnlijk moeten deblokkeren.
De huidige lijst met door de gebruiker geactiveerde herstel-IP-adressen is hier beschikbaar.
Lees de bijgewerkte documentatie van Google:
Controleren op Googlebot en andere Google-crawlers
Hey, ik ben Brent, en ik speel al een lange tijd mee in de SEO scene. Ik ben vooral heel actief in de Amerikaanse markt, en hou dan ook wel van een uitdaging. Ik ben sinds kort aan het uitbreiden binnenin de Benelux, en besluit hier dan ook te oversharen!
Wil je meer leren, klik dan op lees meer!
