llms.txt en AI-crawlers: toelaten of blokkeren?

De cijfers laten weinig ruimte voor twijfel over de richting. Google AI Overviews verschijnen begin 2026 op ongeveer 48% van alle zoekopdrachten, en AI-verwijzingsverkeer naar websites groeide in negentien maanden met een factor 9,9, waarvan 92,4% van ChatGPT komt.

Dichter bij huis: 43% van de Vlamingen gebruikt generatieve AI-tools gewoontegetrouw en twee op drie probeerden ze al. Dat is geen niche meer, dat is een kanaal waar je klanten al zitten.

Belangrijk om te scheiden: er zijn twee soorten AI-bezoek aan je site, en ze verdienen niet hetzelfde antwoord.

• Trainingscrawlers verzamelen tekst om modellen mee te trainen. Daar krijg je op korte termijn niets voor terug.
• Antwoordcrawlers halen je pagina op op het moment dat iemand een vraag stelt, en vermelden je vaak met een link. Dat is verkeer en naamsbekendheid.

Wie alles in één beweging blokkeert, sluit ook de tweede groep buiten. Dat is de fout die het vaakst gemaakt wordt.

llms.txt is een voorstel voor een bestand op /llms.txt waarin je in gewone tekst samenvat waar je site over gaat en welke pagina's het belangrijkst zijn. Het idee: een taalmodel dat jouw site moet begrijpen, krijgt een leeswijzer in plaats van een doolhof.

Wees eerlijk over de status. Het is geen officiële standaard en geen enkele grote aanbieder heeft beloofd het te volgen. Het is ook geen toegangscontrole: een crawler die je wil negeren, negeert het.

Waarom het toch de moeite kan zijn: het kost een halve dag, het dwingt je om op te schrijven wat je doet en voor wie, en die oefening verbetert bijna altijd ook je gewone pagina's. Zie het als een goedkope gok met een nuttig bijeffect, niet als een investering met een beloofd rendement.

Wie zijn toegang wil regelen, doet dat in robots.txt. Wie zich wil laten begrijpen, kan daarnaast llms.txt proberen. Verwar de twee niet.

Toelaten of weigeren gebeurt per user-agent in je robots.txt. Een werkbare middenweg voor de meeste Belgische kmo's ziet er zo uit: antwoordcrawlers binnenlaten, trainingscrawlers weigeren.

Crawler	Wat hij doet	Gangbare keuze voor een kmo
Googlebot	Klassieke index, voedt ook AI Overviews	Altijd toelaten
OAI-SearchBot	Haalt pagina's op voor ChatGPT-antwoorden, met bronvermelding	Toelaten
PerplexityBot	Antwoorden met bronlink	Toelaten
GPTBot	Verzamelt tekst voor modeltraining	Persoonlijke afweging
CCBot	Common Crawl, breed hergebruikt archief	Persoonlijke afweging

Twee waarschuwingen. Ten eerste: namen van crawlers veranderen, dus een regel die je vandaag schrijft is over een jaar niet meer volledig. Zet een halfjaarlijkse herinnering. Ten tweede: blokkeer nooit per ongeluk Googlebot in een poging AI buiten te houden. Dat is de duurste tikfout in dit dossier, en je merkt hem pas weken later aan je verkeer.

De rekensom is voor een dienstverlener of een lokale zaak meestal eenvoudig. Je teksten zijn geen product; ze zijn reclame voor je product. Elke keer dat een model jouw uitleg gebruikt om iemand te helpen, is er een kans dat jouw naam erbij staat.

En dat citeren doet er financieel toe: merken die in een AI-antwoord geciteerd worden krijgen ongeveer 35% meer kliks, terwijl wie niet vermeld wordt minder dan een derde van zijn vroegere kliks overhoudt. Buitensluiten betekent dus niet neutraal blijven, het betekent structureel de tweede groep worden.

Blokkeren is wel verdedigbaar wanneer je content zelf het product is: betalende cursussen, een uitgebreid kennisarchief waar mensen voor betalen, of researchrapporten die je verkoopt. Dan bescherm je omzet, geen ego.

Een gepubliceerd voorbeeld dat je als vertrekpunt mag gebruiken, staat bij Flova over zichtbaarheid in AI-assistenten.

De deur openzetten is de makkelijke helft. Geciteerd worden is de andere. Het onderzoek naar generative engine optimization van Princeton, Georgia Tech en IIT Delhi wees uit dat het toevoegen van statistieken, bronvermeldingen en citaten de zichtbaarheid in AI-antwoorden tot 40% kan verhogen (gemeten in een experimentele benchmark; geen voorspelling van live citaties).

Concreet betekent dat: schrijf verifieerbaar in plaats van vlot. Vier gewoontes die het meest opleveren:

1. Zet een cijfer met een bron in je tekst in plaats van "veel klanten vinden".
2. Antwoord in de eerste twee zinnen onder een kop die de vraag letterlijk stelt.
3. Voeg structured data toe. Google vereist geen speciaal schema voor zijn AI-functies.
4. Wees consistent over je gegevens heen. Naam, adres, telefoon en diensten moeten overal identiek zijn, anders weet een model niet welke versie het moet geloven.

Wil je zien welke van die signalen bij jou al kloppen en welke ontbreken, dan geeft de gratis marketing scan je die lijst in de volgorde die het meest oplevert.