Das neue SEO: So werden Webseiten fit für KI-Agenten

Wie sich Unternehmen auf den neuen Kommunikationskanal vorbereiten

Durch die Nutzung von KI und KI-Agenten entwickelt sich ein weiterer wichtiger Kommunikationskanal, den Unternehmen für sich nutzen können. Unternehmen müssen sich jetzt entscheiden, ob und wie sie diesen neuen zusätzlichen Kanal aktiv unterstützen wollen oder ob sie sich ihm bewusst entziehen möchten. Denn die Fähigkeit, mithilfe von KI die Informationen einer Website nutzen zu können, hängt von mehreren Faktoren ab.

Website-Typen und die Zugänglichkeit für KI-Agenten

Websites, die ohne Anmeldung oder spezielle Berechtigungen aufgerufen werden können, sind für KI-Agenten leicht zugänglich. Dazu zählen beispielsweise öffentlich zugängliche Nachrichtenseiten wie Wikipedia, Blogs oder Unternehmenswebsites. Webseiten, die eine klare HTML-Struktur haben und deren Inhalte statisch abrufbar sind, funktionieren für KI-Agenten generell besser.

Geschützte Seiten, die eine Login-Pflicht, eine Bezahlschranke, einen CAPTCHA oder eine IP-Blockade haben, sind nicht direkt zugänglich. Das sind beispielsweise Online-Zeitungen mit Bezahl-Inhalten hinter einer Paywall; E-Books/Whitepaper, die für Content-Marketing genutzt werden und nur gegen die Angabe von Daten heruntergeladen werden können; interne Unternehmenswebsites (Intranets) oder auch private Social-Media-Profile. Bei Facebook und LinkedIn kann man zum Beispiel einstellen, ob das eigene Profil ein geschütztes oder ein öffentlich zugängliches sein soll.

Darüber hinaus gibt es dynamische Websites, die stark von JavaScript abhängen und schwer auslesbar sind. Aber auch die Inhalte von Websites, die Java-Frameworks verwenden wie zum Beispiel React, Angular, Vue.js, sind schwer zu analysieren, weil Inhalte oft erst nachträglich geladen werden. Netflix oder Spotify sind zum Beispiel nicht auslesbar, weil ihre Inhalte dynamisch und/oder geschützt sind. Und bei Websites etwa von Banken blockieren zusätzliche Sicherheitsmaßnahmen automatisierte Zugriffe – dazu zählen CAPTCHAs, Firewalls oder auch spezielle Schutzsysteme wie zum Beispiel Cloudflare.

Es gibt auch Websites, die das Scraping oder die Indexierung durch Bots in den Bestimmungen der robots.txt-Datei steuern. In der robots.txt-Datei wird angegeben, wie die Daten auf einer Site genutzt werden dürfen. Das ist allerdings nur eine Richtlinie und bietet keinen wirklichen Schutz der Daten. Viele Plattformen haben zudem API-Zugriffsbegrenzungen. Selbst wenn der Zugriff prinzipiell über die API erlaubt ist, kann der Zugang bei ungewöhnlich vielen Anfragen gesperrt werden.

Checkliste: SEO für KI-Agenten

KI-Agenten können Informationen am besten nutzen, wenn sie klar strukturiert und maschinenlesbar bereitgestellt werden. Hier sind einige konkrete Maßnahmen, um Websites KI-freundlicher zu gestalten:

1. Klare und strukturierte Inhalte

• Einfache Sprache: KI kann komplexe Sätze verstehen, aber klare, direkte Sprache verbessert die Verarbeitung
• Logische Überschriften: H1, H2, H3 sollten die Struktur widerspiegeln
• Bullet Points & Tabellen: Helfen bei der schnellen Extraktion von Informationen

2. Maschinenlesbare Formate bereitstellen

• Schema.org-Markup: Strukturierte Daten (JSON-LD, Microdata, RDFa) helfen KI-Agenten, Inhalte besser zu interpretieren
• APIs & RSS-Feeds: Direkter Zugriff auf Daten verhindert Missverständnisse durch Scraping

3. Aktualität & Konsistenz

• Meta-Daten & Veröffentlichungsdatum: Zeigen den KI-Agenten, wie aktuell die Infos sind
• Konsistente Terminologie: Einheitliche Begriffe erleichtern die Verarbeitung

4. Technische Performance & Zugänglichkeit

• Schnelle Ladezeiten: Je schneller die Seite, desto effizienter die Verarbeitung
• Mobile Optimierung: Viele KI-Agenten analysieren Websites über Mobilgeräte
• Kein übermäßiges JavaScript: Inhalte, die nur durch Skripte geladen werden, können für KI schwer zugänglich sein

5. Offenheit für KI-Crawler

• robots.txt richtig konfigurieren: KI-Crawler nicht blockieren, sondern den Zugriff gezielt erlauben
• KI-spezifische Sitemap: Falls sinnvoll, könnte eine API oder eine XML-Sitemap speziell für KI-Bots helfen

Vorteile einer API auf einer Website

• Automatisierter Datenzugriff: Ermöglicht es anderen Systemen, Inhalte strukturiert auszulesen – ohne auf Scraping angewiesen zu sein
• Bessere Integration: Geschäftspartner, Kunden oder Entwickler können Daten einfacher in ihre eigenen Anwendungen integrieren
• Skalierbarkeit: Eine API kann die Last auf der Hauptwebsite reduzieren – zum Beispiel durch Caching
• Neue Geschäftsmodelle: Falls die Daten wertvoll sind, können die Informationen über die API auch gegen eine Gebühr oder mithilfe eines Premium-Features monetarisiert werden
• Mobile first: Eine API erleichtert die Entwicklung von mobilen Apps, die auf Ihre Daten zugreifen

Wann eine API weniger sinnvoll ist

• Overkill: Wenn die Website nur statische Inhalte hat oder sich kaum jemand für die Daten interessiert
• Sicherheitsrisiken: APIs müssen gut geschützt werden, um nicht zum Angriffsziel zu werden
• Wartungsaufwand: APIs müssen gepflegt und dokumentiert werden, um langfristig nutzbar zu bleiben

Fazit

KI-Agenten stehen zurzeit noch am Anfang ihrer Entwicklung. Sie sind aber bereits einsetzbar und sie werden sich sehr schnell etablieren, weil sie für Unternehmen Zeit sparen und helfen, komplexe Aufgaben zu automatisieren.

Für Unternehmen ist es daher wichtig, jetzt eine Strategie zu entwickeln, welche Informationen sie besonders leicht für KI-Agenten zugänglich machen wollen und welche besser nicht. Die Strategie muss auch enthalten, welche Informationen – nach wie vor – für Menschen spannend sind, und welche nur für Maschinen.

Webseiten können vor dem Zugriff durch KI-Systeme auch geschützt werden. Es kann allerdings sinnvoller sein, Maßnahmen zu ergreifen, um die Zugänglichkeit der Website für KI-Systeme zu verbessern. Es ist möglich, auf einer Plattform oder Unternehmenswebsite extra aufbereitete Daten für KI-Agenten bereitzustellen – als besondere Datei oder in Tabellenform. Oder Unternehmen stellen eine API für das Auslesen bestimmter Informationen auf ihrer Website zur Verfügung.