fbpx

Bel nu: +32 468 11 25 93

Moet robots.txt een functie ondersteunen zonder indexering? Vul de enquête in

Share This Post

Share on facebook
Share on linkedin
Share on twitter
Share on email

Ik zag vanmorgen een discussie op Twitter over het idee om een functie in Robots.txt te hebben die zowel crawlen als indexeren zou blokkeren. Het begon met deze tweet van Christian Thurston (@ct_oz) :

“Hallo John [Mueller], heeft Google overwogen het zo te maken dat het robots.txt-bestand niet alleen het crawlen, maar ook de indexering blokkeert? Om @willcritchlow te citeren: "Ik kan niet veel situaties zien waarin ik het crawlen wil blokkeren, maar het indexeren niet wil blokkeren".

"Dat zou een significante verandering in de verwachtingen zijn (en ja, we denken hoe dan ook over deze dingen na). Heb je voorbeelden waar dit een zichtbare verbetering in de zoekresultaten zou opleveren?” Muller reageerde . “Ik wil voorkomen dat er nog meer richtlijnen worden toegevoegd. Ik ben nog steeds niet op de hoogte van veelvoorkomende problemen die worden veroorzaakt door deze gedocumenteerde functionaliteit … SEO's maken zich zorgen over indexering, maar meestal rangschikken deze URL's alleen voor site:-query's (of als er geen andere, betere inhoud op de site is), dus het voelt kunstmatig?"

Met meer dan 20 jaar ervaring in SEO: “Ik ben nog nooit een situatie tegengekomen waarin een uitgever een pagina wilde laten indexeren die hij blokkeerde voor crawlen in robots.txt. Dat heb ik nog geen enkele keer gezien" , twitterde ik als reactie . “Het is voor mij gebruikelijk om mensen voor te lichten dat ze een keuze hebben: (1) crawling blokkeren, of: (2) indexatie voorkomen, terwijl ze beide willen doen. Opmerking: zeker meer een probleem voor grotere sites waar het crawlbudget een probleem is.”

Will Critchlow van Search Pilot was het daarmee eens : “100% mee eens. Ik zie het conservatisme van het niet veranderen van een al lang bestaande norm, maar ik heb nog nooit een situatie gezien en kan me ook geen situatie voorstellen waarin je crawlen wilt blokkeren maar indexatie wel toestaat.”

Maar wat denk JIJ? Zou het handig zijn om een functie in Robots.txt te hebben waarmee je de pagina's kunt specificeren die je niet wilt laten indexeren? Vul hieronder onze korte enquête met drie vragen in en laat ons weten wat u ervan vindt.

Houd er rekening mee dat als u ja stemt om dit te doen, u ALLE risico moet accepteren dat uw ontwikkelteam op een bepaald moment de mogelijkheid en NoIndex-pagina's verkeerd kan toepassen die u niet wilt.


De meningen in dit artikel zijn die van de gastauteur en niet noodzakelijkerwijs Search Engine Land. De auteurs van het personeel worden hier vermeld.


Nieuw op zoekmachineland

Over de auteur

Eric Enge is General Manager van Perficient Digital, een full-service, bekroond digitaal bureau. Voorheen was Eric de oprichter en CEO van Stone Temple, ook een bekroond digitaal marketingbureau, dat in juli 2018 door Perficient werd overgenomen. Hij is de hoofdco-auteur van The Art of SEO, een boek van meer dan 900 pagina's dat bekend is in de industrie als ‘de bijbel van SEO’. In 2016 ontving Enge de Landy Award van Search Engine Land voor Search Marketer of the Year en US Search Awards Search Personality of the Year. Hij is een productief schrijver, onderzoeker, docent en een veelgevraagd keynote spreker en panellid op grote industrieconferenties.

More To Explore