Een noindex op je live website vinden en herstellen

Om een vindbaarheidsprobleem efficiënt op te lossen, moet je eerst begrijpen hoe zoekmachines instructies verwerken. Niet elke blokkade werkt op dezelfde manier, en het verkeerde hulpmiddel inzetten zorgt vaak voor extra verwarring.

Een meta robots tag bevindt zich direct in de HTML-code van een specifieke pagina, binnen het <head>-element. Wanneer daar content="noindex" staat, leest de zoekmachine de pagina wel, maar weet hij dat deze niet in de zoekresultaten mag verschijnen. Dit kan ook dynamisch worden toegevoegd via JavaScript, bijvoorbeeld wanneer een product niet meer bestaat.

Een X-Robots-Tag vervult exact dezelfde functie, maar wordt meegestuurd in de HTTP-response header van de server. Dit wordt vaak gebruikt voor bestanden die geen HTML bevatten, zoals PDF-documenten of afbeeldingen, maar kan eveneens op gewone webpagina's worden toegepast.

Het bestand robots.txt werkt heel anders. Volgens de documentatie van Google op https://developers.google.com/search/docs/crawling-indexing/robots/intro dient een robots.txt-bestand primair om de crawl-serverbelasting te beheren en is het geen geschikt middel om pagina's uit de zoekresultaten te houden. Als een pagina in robots.txt is geblokkeerd via een Disallow-regel, kan Google de pagina niet crawlen. Hierdoor kan Google de eventuele noindex-tag op de pagina niet eens lezen, waardoor de URL alsnog zonder beschrijving in de zoekresultaten kan verschijnen als er externe links naar wijzen.

Het opsporen van een ongewenste noindex vereist een gestructureerde aanpak. Door stapsgewijs de broncode, HTTP-headers en JavaScript-uitvoering te controleren, vind je snel de exacte locatie van de instructie.

1. Controleer de broncode (HTML): Open de betrokken pagina in de browser, klik op de rechtermuisknop en kies 'Paginabron tonen'. Zoek met Ctrl+F naar noindex en controleer de volledige metatag, inclusief eventuele robotsnamen zoals robots of googlebot. De instructie kan met andere waarden gecombineerd zijn en hoeft niet exact als content="noindex" geschreven te zijn. Zorg dat je in de initiële HTML kijkt en niet enkel in het geïnspecteerde element.
2. Inspecteer de HTTP-headers: Gebruik de ontwikkelaarstools van je browser (tabblad 'Netwerk') of een terminal met cURL. Bekijk de respons van de server op de specifieke URL en controleer of er een X-Robots-Tag: noindex wordt meegegeven.
3. Controleer JavaScript-rendering: Zoals toegelicht in de documentatie over JavaScript SEO op https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics, verwerkt Google pagina's in fases (crawlen, renderen, indexeren) en kan een robots meta tag ook dynamisch via JavaScript worden geïnjecteerd of gewijzigd. Inspecteer het gerenderde DOM-element om te zien of een script pas na het laden een noindex toevoegt. Staat noindex al in de oorspronkelijke server-HTML, dan kan Google rendering overslaan. Vertrouw er dus niet op dat een script die oorspronkelijke blokkade later wegneemt; herstel de serverrespons zelf.
4. Valideer het robots.txt-bestand: Surf naar jouwdomein.be/robots.txt en controleer of de URL niet per ongeluk afgeschermd wordt voor de Googlebot of algemene crawlers.

Wanneer je vaststelt op welk niveau de pagina wordt geblokkeerd, gebruik je onderstaand schema om de juiste herstelprocedure te kiezen.

Stel dat een Belgisch installatiebedrijf met 150 dienstpagina's een nieuwe website laat lanceren. De ontwikkelaar stelt op de testomgeving een globale noindex in om te vermijden dat de voorlopige site wordt geïndexeerd. Bij de livegang vergeet het team dit vinkje uit te schakelen.

Drie weken na de lancering merkt de zaakvoerder dat het organische verkeer met 80% is gezakt. In de broncode van de homepage staat nog steeds <meta name="robots" content="noindex, follow">. Daarnaast is in het bestand robots.txt de regel Disallow: /offerte/ achtergebleven.

De herstelprocedure verloopt als volgt: de ontwikkelaar verwijdert de globale meta-tag in het CMS. Hierdoor wordt de HTML weer schoon opgeleverd met content="index, follow". Tevens wordt de regel in robots.txt geschrapt, zodat de offertepagina weer gecrawld kan worden. Na de aanpassing duurt het enige tijd voordat de crawlers van de zoekmachines alle 150 pagina's opnieuw bezoeken en de index bijwerken.

Een wijziging doorvoeren in het CMS of de server is slechts de eerste helft van het werk. Je moet vervolgens technisch bewijzen dat de server geen uitsluitingssignalen meer uitstuurt.

Controleer eerst met een gewone GET-aanvraag welke headers en HTML de server werkelijk terugstuurt. Onderstaand voorbeeld bewaart alleen de openbare response van een voorbeeldpagina in twee lokale bestanden:

curl -sS -D headers.txt -o pagina.html https://example.be/pagina

Open headers.txt en pagina.html en controleer de volgende punten. Als de URL omleidt, noteer het doel en herhaal de aanvraag op het bedoelde eindadres. Een zelfgekozen user-agentnaam bewijst niet wat een echte Googlecrawler ontvangt; een HEAD-aanvraag kan bovendien anders worden afgehandeld dan GET:

• De bedoelde openbare eindpagina hoort een succesvolle response en de verwachte inhoud terug te geven. Een 200-status alleen bewijst geen indexeerbaarheid.
• De header mag geen X-Robots-Tag: noindex meer bevatten.

Daarnaast inspecteer je de HTML-respons om te bevestigen dat de tag <meta name="robots" content="noindex"> volledig afwezig is of is gewijzigd naar index. Zorg er ook voor dat eventuele JavaScript-bestanden op de pagina niet alsnog een noindex toevoegen nadat de DOM is opgebouwd.

Na het corrigeren van de technische instellingen is het zaak om de status van je pagina's consistent op te volgen. Een eenmalige fout kan snel herhaald worden bij een volgende software-update of inhoudelijke aanpassing door de redactie.

Hoewel zoekmachines enige tijd nodig hebben om gewijzigde pagina's opnieuw te crawlen en te verwerken, kun je de basissignalen van je site direct laten nakijken. Wil je inzicht krijgen in de algemene status en zichtbare signalen van jouw online aanwezigheid? Start dan een controle via Marketing Scan om de publiek toegankelijke parameters van je website overzichtelijk in kaart te brengen.