Thought Leadership
In der künstlichen Intelligenz (KI) bahnt sich ein Konflikt an: Webseitenbetreiber gegen KI-Unternehmen. Im Zentrum steht die Frage, wer die Kontrolle über Online-Inhalte hat. Der Anbieter von Netzwerk-Diensten Cloudflare mischt sich nun mit einem neuen Anti-Scraping-Feature ein.
Das US-Unternehmen hat in einem Blogbeitrag eine neue Funktion vorgestellt, die es Webseitenbetreibern ermöglicht, sich gegen unerwünschtes Datensammeln durch KI-Firmen zu wehren. Diese Neuerung ist Teil des Content Delivery Network (CDN) von Cloudflare und steht sowohl kostenlosen als auch zahlenden Nutzern zur Verfügung.
Hintergrund dieser Entwicklung ist die gängige Praxis vieler KI-Unternehmen, öffentlich zugängliche Webinhalte zum Training ihrer Sprachmodelle zu nutzen. Während einige Branchengrößen wie OpenAI und Google Webseiten-Betreibern die Möglichkeit geben, sich gegen dieses “Scraping” zu wehren, bieten nicht alle KI-Entwickler diese Option an.
Cloudflare vs. Perplexity AI
Cloudflares neue Funktion setzt selbst auf künstliche Intelligenz, um automatisierte Versuche der Datenextraktion zu erkennen. Laut Unternehmensangaben kann die Software selbst Bots identifizieren, die versuchen, ihre wahre Identität zu verschleiern. “Wir haben beobachtet, wie Bot-Betreiber versuchen, als echter Browser zu erscheinen, indem sie einen gefälschten User Agent verwenden”, erklären Cloudflare-Ingenieure. “Unser globales maschinelles Lernmodell hat diese Aktivität stets als Bot erkannt.”
Ein bemerkenswertes Beispiel für die Leistungsfähigkeit des Systems sei die Erkennung eines Bots, der für das KI-Startup Perplexity AI Daten sammelt. Dieser Bot war bisher schwer zu blockieren, da er sich wie normaler Usertraffic tarnte.
Cloudflare bewertet jeden Webseitenbesuch mit einer Punktzahl von 1 bis 99, wobei niedrige Werte auf Bot-Aktivität hindeuten. Anfragen des Perplexity AI-Bots erhalten konsistent Werte unter 30.
Um mit der sich ständig weiterentwickelnden Bot-Technologie Schritt zu halten, plant Cloudflare kontinuierliche Aktualisierungen seiner Schutzfunktion. Zusätzlich wird ein Tool eingeführt, das Webseitenbetreibern ermöglicht, neue Bots zu melden.
