AI-crawlers toelaten of blokkeren: de robots.txt-gids voor 2026
GPTBot, ClaudeBot, PerplexityBot, Google-Extended: welke AI-crawlers moet je toelaten en welke kun je blokkeren? Een praktische gids over robots.txt, het verschil tussen training- en zoek-crawlers, en waarom llms.txt geen wondermiddel is.