AI-crawlers: wie moet je toelaten?
Laat de AI-crawlers toe die zoeken: OAI-SearchBot, Claude-SearchBot, PerplexityBot en natuurlijk Googlebot en Bingbot. Of je trainingsbots zoals GPTBot en ClaudeBot toelaat, is een keuze. Vertrouw daarbij niet op je robots.txt alleen: op drie van onze sites gaf Cloudflare een 403 terwijl robots.txt ze toeliet.
De bots op een rij
De functies komen uit de documentatie van OpenAI, Anthropic, Perplexity en Google. Het advies is van ons. Dit hoort bij GEO-optimalisatie.
| Bot | Van | Wat hij doet | Advies |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Bepaalt of je in ChatGPT-zoekantwoorden kunt staan | Toelaten |
| ChatGPT-User | OpenAI | Haalt een pagina op voor een gebruiker | Toelaten |
| GPTBot | OpenAI | Training | Jouw keuze |
| Claude-SearchBot | Anthropic | Indexeert voor zoekresultaten | Toelaten |
| Claude-User | Anthropic | Haalt een pagina op voor een gebruiker | Toelaten |
| ClaudeBot | Anthropic | Training | Jouw keuze |
| PerplexityBot | Perplexity | Zoekindex, geen training | Toelaten |
| Googlebot | Zoeken, ook AI-overzicht en AI-modus | Altijd toelaten | |
| Google-Extended | Geen eigen bot: een instelling voor training en Gemini, niet voor het AI-overzicht | Jouw keuze |
Een trainingsbot blokkeren haalt je niet uit de zoekantwoorden van die drie bedrijven, een zoekbot blokkeren wel. Wij laten op onze eigen site ook de training toe. Wil je dat niet, dan is dat een redelijke keuze.
Drie keer gezien: robots.txt zegt ja, Cloudflare zegt 403
Op drie van onze sites, ook xwise.nl, stond bij Cloudflare de AI-instelling voor training op Disallow. GPTBot en ClaudeBot kregen daardoor een 403, terwijl onze eigen robots.txt ze toeliet. De zoekbots kregen gewoon 200, dus het viel nergens op. Kies daar nooit Block: sinds 15 september 2026 blokkeert dat ook Googlebot en Bingbot, schrijft Cloudflare.
Meet het dus zelf met de bot als afzender. Op 1 november 2026 gaf xwise.nl aan alle acht geteste namen een 200. Met dit commando zie je het bij jouw site, met je eigen domein op de plek van het voorbeeld:
curl -s -o /dev/null -w "%{http_code}" -A "Mozilla/5.0 (compatible; GPTBot/1.1)" https://jouwsite.nl/
Dat is een benadering, want je doet je voor als bot. Is er een regel op IP-adressen, dan zie je die zo niet. Het Cloudflare-scherm AI Crawl Control hoort de echte verzoeken te tonen; bij ons toonde het voor xwise.nl op 1 november geen cijfers, dus die hebben we hier niet.
Wat het oplevert
Reken niet op veel bezoek. In september 2026 waren de verhoudingen tussen crawlen en doorverwijzen ongeveer Google 4,7 op 1, OpenAI 341 op 1 en Anthropic 549 op 1, volgens SEOmator op basis van Cloudflare Radar, een verwerking door een derde. De reden om ze toe te laten is dat je anders niet genoemd kunt worden, niet dat ze veel klikken sturen.
En robots.txt is vrijwillig: een bot kan het negeren. Wil je iets echt afschermen, dan is een inlog de enige betrouwbare manier. Een llms.txt helpt hier niet.
Zo regel je het
- Zet in robots.txt wat je wilt. User-agent: * met Allow: / is genoeg als je iedereen toelaat.
- Controleer je firewall en hosting. Cloudflare, een WordPress-beveiligingsplugin of je hostingpartij kan bots tegenhouden zonder dat je het weet.
- Meet na elke wijziging. Bij elke livegang opnieuw, want een instelling kan op account- of zoneniveau staan.
- Beslis over training. En schrijf op waarom, zodat de volgende het niet per ongeluk omzet.
De gratis website analyse kijkt ook of ChatGPT, Claude en Perplexity je site mogen lezen. Bij Xwise regelen en meten we dit per site, en zie je eerst je eigen homepage. Hoe je daarna in antwoorden komt, lees je bij ChatGPT SEO.
Alle bronnen. Lees het zelf na.
- OpenAI bots developers.openai.com
- Anthropic crawlers support.claude.com
- Perplexity crawlers docs.perplexity.ai
- Google crawlers en Google-Extended, oktober 2026 developers.google.com
- Cloudflare AI-crawlers die ook zoeken, september 2026 blog.cloudflare.com
- SEOmator crawlen tegenover doorverwijzen, op basis van Cloudflare Radar, oktober 2026 seomator.com