Cloudflare führt neue Steuerungsmöglichkeiten für den Zugriff automatisierter Systeme auf Webseiten ein. Betreiber sollen laut Unternehmensangaben künftig getrennt festlegen können, ob Inhalte für klassische Suche, AI-Training oder AI-Agenten genutzt werden dürfen. Damit will das Unternehmen einen bisherigen Zielkonflikt entschärfen: Inhalte sollen in Suchmaschinen auffindbar bleiben können, ohne zugleich für das Training von AI-Modellen freigegeben werden zu müssen.
Nach Angaben von Cloudflare entfällt inzwischen ein erheblicher Teil des verifizierten Crawler-Verkehrs auf sogenannte Mixed-Use-Crawler, die Inhalte sowohl für Suchindizes als auch für AI-Anwendungen erfassen. Während weniger als ein Prozent der Webseitenbetreiber Suchcrawler blockieren, schränken laut Cloudflare rund 17 Prozent AI-Training ein.
Neue Einstellung blockiert AI-Training separat
Mit der Funktion „Disallow AI Training“ können Webseitenbetreiber AI-Training untersagen und gleichzeitig den Zugriff für klassische Suchmaschinen zulassen. Cloudflare ersetzt dafür den bisherigen Schalter „Block AI Bots“ durch drei voneinander unabhängige Einstellungen für Suche, Training und AI-Agenten.
Für neue Kunden schlägt Cloudflare unterschiedliche Standardeinstellungen vor. Werbefinanzierte Webseiten sollen Suchcrawler zulassen, AI-Training verweigern und AI-Agenten auf Seiten mit Werbung blockieren können. Für andere Webseiten empfiehlt Cloudflare zunächst die Freigabe aller drei Kategorien.
Gewinnen in der Plattform-Ökonomie
Apple, Google und Microsoft erhalten neuen Status
Parallel führt Cloudflare die Einstufung „Accountable“ für AI-Crawler ein. Anbieter müssen dafür unter anderem ermöglichen, AI-Training unabhängig von der klassischen Suche abzulehnen. Zudem sollen Webseitenbetreiber AI-generierte Suchzusammenfassungen deaktivieren und nachvollziehen können, wie einzelne URLs verwendet werden.
Apple, Google und Microsoft erfüllen diese Anforderungen laut Cloudflare bereits oder haben konkrete Zeitpläne für deren Umsetzung vorgelegt. Google bietet beispielsweise mit Google-Extended eine Möglichkeit, bestimmte AI-Nutzungen auszuschließen, ohne den normalen Suchindex zu blockieren.
Bot Preference Sync ersetzt bisherige robots.txt-Funktion
Cloudflare ersetzt außerdem die bisherige Funktion „Managed Robots.txt“ durch „Bot Preference Sync“. Webseitenbetreiber sollen ihre Zugriffspräferenzen damit zentral festlegen können, während Cloudflare diese automatisch auf unterstützte Crawler überträgt.
Die Einstellungen sollen jederzeit veränderbar bleiben. Mixed-Use-Crawler, die die neuen Anforderungen nicht erfüllen, können bei aktivierter Trainingssperre vollständig blockiert werden, sofern sich Such- und Trainingszugriffe technisch nicht voneinander unterscheiden lassen.
Auch AI-Zusammenfassungen sollen steuerbar werden
Als nächsten Schritt will Cloudflare die Kontrolle über AI-generierte Suchzusammenfassungen ausbauen. Betreiber sollen zunächst individuell bei den jeweiligen Anbietern entscheiden können, ob ihre Inhalte dafür genutzt werden dürfen.
Bis Anfang 2027 plant Cloudflare eine zentralisierte Steuerung, mit der sich auch der Umfang der verwendeten Inhalte beeinflussen lassen soll. Gleichzeitig beteiligt sich das Unternehmen an der Entwicklung offener Standards wie „ai-prefs“, mit denen Webseiten ihre Präferenzen für AI-Zugriffe künftig einheitlich und portabel ausdrücken könnten.
