Interne zoekresultaten uit Google houden

Begin met de site zelf. Zoek op een woord, pas filters en sortering toe en kijk wat er in de adresbalk verandert. Noteer elk patroon: een parameter voor de zoekterm, voor pagina's, voor sortering en voor elke filter. Bekijk daarna de geïndexeerde URL's in Search Console. Volgens de startgids voor Search Console geeft het indexeringsrapport een overzicht van pagina's die Google heeft geïndexeerd of probeerde te indexeren. Zoek daar op de parameters die je noteerde. De exacte schermnamen en rapportopbouw kunnen wijzigen; de beheerder controleert dat in de eigen omgeving.

Een gewone zoekopdracht in Google met je domein en een deel van het patroon kan een eerste indicatie geven, maar is geen volledige lijst.

Dit zijn twee verschillende mechanismen die elkaar kunnen tegenwerken. Googlebot leest eerst robots.txt. Is een URL niet toegelaten, dan doet Googlebot geen aanvraag en ziet hij dus ook geen noindex op die pagina. De gids over duplicaten en canonical-URL's vermeldt bovendien dat Google URL's die via robots.txt geblokkeerd zijn nog kan indexeren, zonder inhoud. Robots.txt is dus geen verwijdermiddel en garandeert geen afwezigheid in de index.

Controleer daarom per patroon:

1. Staat het patroon in robots.txt? Dan kan een noindex op de pagina niet gelezen worden.
2. Staat er een noindex in de HTML-respons of in een header?
3. Bevestig voor een representatieve URL met URL-inspectie in Search Console wat Google zag. De door Google gekozen canonical lees je in de geïndexeerde gegevens, niet in de live test.

Een gewone browser negeert robots.txt en bewijst dus niets over crawltoegang van Googlebot.

Als je zoekpagina's door JavaScript worden opgebouwd, vergelijk dan de ruwe HTML-respons met de weergegeven HTML. De basisgids over JavaScript en SEO beschrijft drie fasen: crawlen, renderen en indexeren, en zegt dat Google de gerenderde HTML gebruikt om te indexeren. Ook vermeldt hij dat pagina's met een robots-metatag of header die indexering tegenhoudt, niet voor rendering in de wachtrij komen. Een noindex die pas door script wordt toegevoegd, is dus een risico: test of hij echt zichtbaar is in wat Google verwerkt, en zet hem bij voorkeur in de oorspronkelijke HTML.

Ook links tellen. Googlebot haalt nieuwe URL's uit href-attributen van HTML-links in de ruwe en gerenderde HTML. Een filter die als echte link met href is opgebouwd, wordt dus ontdekt; een knop die alleen script uitvoert niet noodzakelijk.

Gebruik deze matrix per patroon dat je gevonden hebt. Zoekvolume volgt niet uit het aantal filters; onderzoek het apart met zoekdata voor je een filterpagina een eigen plek geeft.

De bron raadt aan een canonical-link naar de gewenste pagina te gebruiken en noindex niet als middel om een canonical te kiezen. Een canonical is bovendien een signaal en geen opdracht: Google kan een andere keuze maken.

Het structurele probleem zit vaak in het menu. Elke keuze die als link zichtbaar is, kan nieuwe URL's genereren. Werk daarom aan de bron:

• Beperk het aantal filters dat tegelijk als link kan worden aangeklikt.
• Sorteer parameters in een vaste volgorde, zodat dezelfde keuze niet in meerdere volgordes bestaat.
• Gebruik nofollow of een knop zonder href voor combinaties zonder vraag. De JavaScript-gids van Google zegt dat nofollow kan helpen om te voorkomen dat Googlebot een link volgt; het sluit niet uit dat dezelfde URL via andere links of een sitemap alsnog gevonden wordt.
• Laat interne links bij voorkeur naar de canonical URL wijzen; dit is een redactionele aanbeveling die consistente signalen geeft, geen garantie.
• Gebruik geen verwijdertool als vervanging voor canonical of noindex: de Search Console-gids beschrijft een succesvol verzoek als tijdelijk, ongeveer zes maanden.

Pas wijzigingen eerst op een testomgeving of een klein deel van de site toe.

Fictief voorbeeld, enkel invoer en rekenwerk: een webshop heeft vier filters met telkens zes keuzes. Omdat elke filter ook op niet gekozen kan staan, zijn er zeven toestanden per filter. Dat geeft 7 x 7 x 7 x 7 = 2401 combinaties. Met drie sorteervolgordes is dat 7203 URL's, nog zonder paginering of zoektermen. Het getal laat zien hoe snel een menu URL's vermenigvuldigt, maar zegt niets over of Google ze indexeert of kiest.

Controle na wijziging: haal een steekproef van patronen uit je lijst, controleer ruwe HTML, header en canonical, en bekijk in URL-inspectie de geïndexeerde gegevens. Herhaal dat in Search Console na enkele weken, want de uitkomst is onzeker en niet gegarandeerd. Wil je ook de zichtbare publieke signalen van je site bekijken? Dat kan via Marketing Scan. Een publieke scan voert deze interne controles niet uit en kan zoekpatronen niet volledig afleiden.