John Mueller van Google beantwoordde een vraag op Reddit over een veelgebruikte robots-metatag en wat er zou gebeuren als deze zou ontbreken. Het antwoord van Mueller is weliswaar logisch en gedocumenteerd, maar kan voor veel uitgevers en SEO’s nog steeds als een verrassing komen.
Robots-metatag
Het HTML-meta-element communiceert metadata. Metagegevens is machinaal leesbare informatie die een crawler als Googlebot kan lezen.
Er zijn veel soorten meta-elementen, zoals het metabeschrijvingselement, maar het Robots-meta-element is anders omdat het de crawlers van zoekmachines kan besturen.
De informatie die door de robots-metatag wordt gecommuniceerd, wordt een richtlijn genoemd, wat betekent dat robotcrawlers verplicht zijn de instructies in de robots-metatag te gehoorzamen.
Er zijn veel aanwijzingen om door de robots-meta te gaan, maar de volgende metatag is er een die relevant is voor de vraag die John Mueller heeft beantwoord.
De noindex, no follow-metatag:
<meta name="robots" content="noindex, nofollow">
De bovenstaande metatag vertelt de crawlers van de zoekmachine om de inhoud van de webpagina niet te indexeren en geen links te volgen.
Een van de meest voorkomende metatags is deze, die zoekmachines de opdracht geeft de inhoud te indexeren en alle links te volgen:
<meta name="robots" content="index, follow">
Hoewel de bovenstaande metatag gebruikelijk is, bestaat er een aanzienlijke hoeveelheid misverstanden over. Er is een redenering dat, omdat Google nofollow ondersteunt, dit moet impliceren dat Google de follow-richtlijn ondersteunt.
Ik heb een aantal gezaghebbende websites gevonden die zeggen dat Google de meta robots index, follow meta tag gebruikt.
Maar dat is eigenlijk niet hoe Google deze richtlijnen gebruikt, zoals John Mueller duidelijk maakt in zijn antwoord.
Zie ook: Google antwoordt als meta-robots-tags de zoekrangschikking beïnvloeden
Wat is het effect van het weglaten van de Meta Robots Index-tag?
De persoon op Reddit stelde de volgende vraag:
“Ik ben een beetje in de war met een website waar ik aan werk.
Dit is dus hoe de metafragmenten op de meeste websites waar ik aan werk er uitzien:
