Verweesde pagina's vinden met twee URL-lijsten

Een sitemap is volgens Google een bestand waarin je aangeeft welke pagina's en bestanden je belangrijk vindt, zodat zoekmachines je site efficiënter kunnen crawlen. Dat staat in de Google-uitleg over sitemaps. Google schrijft daar ook dat het je site meestal kan ontdekken als je pagina's goed gelinkt zijn, en dat een sitemap vooral helpt bij grote, nieuwe of mediarijke sites.

Daaruit volgt de logica van de methode:

• Lijst A: alle URL's die je zelf aanbiedt, meestal uit de sitemap.
• Lijst B: alle URL's die een crawler bereikt door interne links te volgen, vertrekkend van de startpagina.

Staat een URL in A maar niet in B, dan is het een kandidaat-wees: je biedt hem aan, maar je navigatie ontsluit hem niet. Staat een URL in B maar niet in A, dan is dat een ander probleem, namelijk een sitemap die niet volledig is. Beide verschillen zijn informatief, maar deze gids richt zich op het eerste.

1. Haal de sitemap op. Open je sitemap-URL, vaak te vinden via de robots.txt of de instellingen van je CMS. Kopieer alle URL's naar kolom A van een spreadsheet. Bij een sitemapindex doe je dit per onderliggende sitemap.
2. Crawl de site zelf. Gebruik een crawler die vanaf de startpagina interne links volgt en de gevonden URL's exporteert. Welke tool je kiest, bepaal je zelf. Let erop dat de instelling klopt: alleen standaard HTML-links volgen en JavaScript-links alleen meenemen als je ze bewust wilt tellen.
3. Normaliseer beide lijsten. Verwijder parameters die enkel tracking zijn, kies één variant voor slash en protocol, en zet alles in dezelfde schrijfwijze om. Anders verschijnt dezelfde pagina als twee verschillende URL's en krijg je valse verschillen.
4. Vergelijk. Gebruik een opzoekfunctie of draaitabel en markeer de URL's uit A die niet in B voorkomen.

Noteer bij elke export de datum en de gebruikte instellingen. De uitkomst is alleen zo betrouwbaar als de crawl: een crawler die door een login of robots-regel wordt tegengehouden, kan pagina's als verweesd tonen die dat niet zijn. Omgekeerd bewijst een crawl die een pagina wel bereikt niet dat Googlebot die pagina mag crawlen.

Niet elke URL zonder interne link is een probleem. Sorteer de kandidaten met deze tabel:

Bepaal de prioriteit met je eigen gegevens, niet op gevoel: kijk naar verkeer, aanvragen, conversies of hoe vaak klanten er in gesprekken naar vragen. Een pagina zonder instappad die toch bezoek of aanvragen oplevert, verdient snel een link.

Een link toevoegen puur om de lijst kleiner te maken, helpt niemand. Zoek per prioritaire pagina een plek waar een bezoeker die link logisch zou verwachten.

• Categorie of overzicht: voeg de pagina toe aan de lijst waar gerelateerde pagina's staan.
• Contextuele link: verwijs vanuit een bestaande tekst waar het onderwerp ter sprake komt, met een beschrijvend linkanker.
• Gerelateerde pagina's: zet onderaan een korte, handmatig gekozen lijst, geen automatische blokken met honderden links.
• Navigatie: alleen voor pagina's die echt voor veel bezoekers belangrijk zijn, anders wordt het menu een lijst zonder prioriteit.

Gebruik gewone links die in de HTML staan. Een pagina die alleen via een zoekveld, een script of een knop zonder URL bereikbaar is, kan voor een crawler nog steeds weesachtig zijn, ook als ze voor jou 'gelinkt' lijkt.

Dit is een denkbeeldig voorbeeld met verzonnen getallen, enkel om de rekenwijze te tonen. Er volgt geen uitkomst over indexering of verkeer.

Invoer: de sitemap bevat 120 URL's. De crawl vanaf de startpagina vindt 104 URL's via interne links, waarvan 3 niet in de sitemap staan.

Berekening:

• Van de 104 gecrawlde URL's staan 101 ook in de sitemap (104 min 3).
• Kandidaat-wezen: 120 min 101 = 19 URL's in de sitemap zonder crawlbare interne link.
• Aandachtspunt: 3 URL's staan wel in de crawl maar niet in de sitemap.

Verwachte vervolgcontroles: sorteer de 19 met het beslisblad. Controleer bij de pagina's die je na het sorteren wilt behouden of ze gewild zijn en in de sitemap thuishoren. Voeg waar nodig instappaden toe. Voer daarna de crawl opnieuw uit en kijk of de lijst met kandidaten kleiner is geworden en of die verwachte pagina's nu in lijst B staan.

Na het aanpassen van links herhaal je de crawl met dezelfde instellingen en vergelijk je de nieuwe lijst B met de oude. Een pagina die nu in B staat, heeft een crawlbaar instappad. Dat zegt nog niets over indexering.

Voor de indexeringsvraag gebruik je Search Console. Google beschrijft het als een tool die laat zien hoe het je site crawlt, indexeert en toont, met rapporten voor indexering, sitemaps en zoekprestaties, zie de Google-uitleg om te starten met Search Console. Daar controleer je per pagina of ze als geïndexeerd wordt gemeld, en in het sitemaprapport of de ingediende sitemap goed wordt gelezen. Exacte rapportnamen en schermen kunnen wijzigen, dus de beheerder controleert die in het eigen account.

Een indexeringsresultaat is onzeker: Google beslist zelf wat het opneemt. Je controle meet dus alleen of je de belemmering aan jouw kant hebt weggenomen. Wil je daarnaast zien welke zichtbare signalen je publieke site geeft, neem dan een kijkje via Marketing Scan. Die publieke scan meet zichtbare signalen en vervangt je eigen crawl of Search Console niet.