Je wilt dat potentiële klanten je bedrijf vinden, ook als ze hun vraag aan een AI-tool stellen. Tegelijk kun je ai crawlers blokkeren als je niet wilt dat je website wordt gebruikt voor het trainen van AI-modellen. Die keuze heeft gevolgen voor hoe AI-tools je content gebruiken en hoe zichtbaar je bedrijf is. Met een paar regels in robots.txt bepaal je welke bots toegang krijgen. Een bewuste aanpak helpt je om je content te beschermen zonder onnodig kansen op zichtbaarheid weg te geven.
AI crawlers blokkeren kan met regels voor specifieke bots in je robots.txt. Wat je kiest, hangt af van het doel van je website. Wil je vooral gevonden worden, dan laat je zoekbots meestal toe. Wil je geen content beschikbaar stellen voor training, blokkeer dan alleen trainingsbots en laat zoekbots zoals OAI-SearchBot toe. Robots.txt is wel een verzoek: niet iedere bot houdt zich eraan.
Welke AI crawlers bezoeken jouw website?
De belangrijkste AI bots op je website komen van OpenAI, Anthropic, Google en Perplexity. Ze doen niet allemaal hetzelfde. Sommige bots verzamelen teksten om AI-modellen te trainen, andere halen actuele informatie op om een vraag van een gebruiker te beantwoorden. Dat verschil bepaalt wat blokkeren je kost.
Bij Asociaal Marketing zien we dat ondernemers training en AI-zoeken vaak over één kam scheren. Dat is begrijpelijk, maar het zijn echt aparte bots. GPTBot blokkeren bepaalt alleen of toekomstige modellen van je content leren. OAI-SearchBot blokkeren betekent dat je niet meer als bron met link verschijnt in ChatGPT search. ChatGPT kan je dan nog wel noemen op basis van wat het model al weet. Naast deze bots zijn er bots die een pagina ophalen als een gebruiker erom vraagt, zoals ChatGPT-User en Claude-User. Anthropic heeft daarnaast Claude-SearchBot voor zoekresultaten in Claude.
Googlebot en Google-Extended: het verschil
Google-Extended is geen crawler, maar een token. Het crawlen zelf doet Googlebot, dezelfde bot die je website voor Google Search bezoekt. Met Google-Extended in je robots.txt geef je alleen aan of Google die gecrawlde content mag gebruiken voor Gemini.
Dat heeft twee gevolgen. Een regel voor Google-Extended in robots.txt raakt je posities in Google Search niet. Tegelijk geldt: wie Google-Extended toestaat, blijft in aanmerking voor grounding in Gemini Apps en in Grounding with Google Search op Vertex AI. Blokkeer je Google-Extended, dan valt je site daar buiten. Grounding betekent dat Gemini bij een vraag actuele informatie uit de zoekindex gebruikt om een beter antwoord te geven.
Neem een kapsalon in Gouda die Google-Extended blokkeert. Die blijft gewoon vindbaar als iemand zoekt op ‘kapper Gouda’. Maar vraagt iemand in de Gemini-app om een goede kapper in de buurt, dan kan Gemini die website niet via grounding als bron gebruiken. Let op: Google noemt AI Overviews niet apart in de uitleg over Google-Extended. Wel zegt Google dat Google-Extended geen invloed heeft op Google Search, en AI Overviews zijn onderdeel van Search.
AI crawlers blokkeren of toestaan: wat kost het je aan zichtbaarheid?
Blokkeer je zoekbots, dan verschijn je niet meer als bron met link in de AI-zoekresultaten van die aanbieder. Dat effect merk je direct. Blokkeer je alleen trainingsbots, dan verandert er op korte termijn weinig. Het effect zit in wat toekomstige modellen over je bedrijf weten, en dat levert geen klik op. Hoe zwaar dat weegt, hangt af van wat je met je website wilt bereiken.
Stel: een installateur in Waddinxveen zet alle AI bots op slot. Een huiseigenaar vraagt ChatGPT wie in de regio warmtepompen installeert. ChatGPT noemt dan bedrijven waarvan het wel informatie heeft. Herkenbaar? In ons artikel over waarom je concurrent wel in ChatGPT verschijnt en jij niet lees je welke factoren nog meer meespelen.
robots.txt is een verzoek, geen slot
Een robots.txt-bestand vraagt bots om bepaalde pagina’s over te slaan. Bonafide partijen als OpenAI, Anthropic en Google houden zich daaraan. Bots die het niet zo nauw nemen, negeren het gewoon. Blokkeren beschermt je content dus maar half, terwijl je de nette partijen wel buitensluit.
robots.txt voorbeelden die je direct kunt gebruiken
Een robots.txt voor AI regel je per bot met een User-agent-regel en een Disallow- of Allow-regel. Het bestand staat in de hoofdmap van je website, bijvoorbeeld jouwdomein.nl/robots.txt. Staat er niets over een bot, dan mag die alles crawlen. Let op: een bot met een eigen groep volgt alleen die groep. De regels onder User-agent: * gelden dan niet meer voor die bot. Wil je dat Disallow: /wp-admin/ ook voor GPTBot blijft gelden, zet die regel dan ook in de groep van GPTBot.
Zo pas je het bestand veilig aan:
- Open je huidige robots.txt via je hosting, FTP of een SEO-plugin in WordPress.
- Voeg de regels toe onder de bestaande inhoud en laat de regels voor Googlebot ongemoeid.
- Controleer daarna via jouwdomein.nl/robots.txt of het bestand klopt.
Voorbeeld: alleen trainingsbots blokkeren
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Met deze regels is GPTBot blokkeren geregeld, net als ClaudeBot. OAI-SearchBot en PerplexityBot noem je niet, dus die mogen gewoon verder. Dat geldt ook voor Claude-SearchBot en Claude-User. Zo blijf je zichtbaar in AI-zoekresultaten zonder content aan te leveren voor training.
Voorbeeld 2: alleen een map afschermen
User-agent: GPTBot
Disallow: /downloads/
Handig als je bijvoorbeeld betaalde whitepapers in een aparte map hebt staan. De rest van je site blijft open.
Wat verandert er in 2027 met de gedeelde AI-trainingstoken?
Er komt mogelijk één token waarmee je AI-training bij meerdere partijen tegelijk uitzet. Op 30 oktober 2026 is de token __usage_ai-training aangekondigd. Het is nog geen officiële standaard. Google mikt op invoering in 2027 en Microsoft wil de token vanaf 1 februari 2027 respecteren.
Eén detail vraagt aandacht. Kies je via deze token voor een opt-out, dan zet je daarmee ook Google-Extended uit, tenzij je Google-Extended expliciet toestaat. Wie straks met één regel training blokkeert, verliest dus ongemerkt ook de grounding in Gemini Apps. In ons artikel over de gedeelde AI-trainingscontrole van Google lees je wat dit voor jouw website betekent.
Wil je straks AI-training blokkeren en wel in aanmerking blijven voor grounding in Gemini Apps? Dan ziet dat er zo uit, zodra de token wordt ondersteund:
User-agent: __usage_ai-training
Disallow: /
User-agent: Google-Extended
Allow: /
Ons advies voor MKB-websites
Welke keuze past, hangt af van het doel van je website. Wil je vooral gevonden worden en aanvragen krijgen, dan laat je zoekbots en Google-Extended open. Voor een lokale dienstverlener in Gouda of Alphen aan den Rijn staat er weinig geheime informatie op de site. Je wilt juist dat AI-tools weten wat je doet, waar je zit en waarom klanten voor jou kiezen.
Is je content zelf je product, dan ligt dat anders. In deze situaties is het logisch om trainingsbots te blokkeren:
- Je verdient geld met de content zelf, zoals betaalde cursussen of rapporten.
- Je hebt unieke data die je concurrentievoordeel vormt.
- Je publiceert teksten waarvan je niet wilt dat ze in trainingsdata terechtkomen.
Bij Asociaal Marketing zien we dat de winst voor de meeste ondernemers aan de andere kant zit. Niet afschermen, maar zorgen dat AI-tools je goed begrijpen en noemen. Dat is precies waar GEO optimalisatie om draait: we meten hoe vaak ChatGPT, Gemini, Claude en Perplexity je nu noemen, passen je content en structuur aan en volgen de zichtbaarheid elke maand.
AI crawlers blokkeren is technisch eenvoudig.De keuze hangt af van je doel. Draait je site om zichtbaarheid en aanvragen, dan kost het blokkeren van zoekbots je meer dan het oplevert. Is je content zelf je product, dan is het blokkeren van trainingsbots een logische stap. Meet in beide gevallen eerst hoe vaak AI-tools je nu noemen. Twijfel je toch, blokkeer dan alleen trainingsbots en laat zoekbots en Google-Extended open. En houd de gedeelde trainingstoken in de gaten, want daarmee verandert er in 2027 waarschijnlijk iets.
Wil je weten hoe zichtbaar jouw bedrijf nu is in ChatGPT en Gemini, en wat je robots.txt daarin betekent? Neem contact op en plan een kennismaking. We kijken samen naar je situatie en vertellen je eerlijk wat nodig is.
