KI-Crawler steuern: Was GPTBot und Co. auf Ihrem Server tun
Werfen Sie einmal einen Blick in die Rohlogs Ihres Webservers. Zwischen den gewohnten Googlebot-Zugriffen finden sich dort seit rund zwei Jahren Anfragen, die in keiner Analytics-Auswertung auftauchen: keine Sitzung, kein Referrer, keine Verweildauer. Nur eine IP, ein Zeitstempel und ein User-Agent, der sich GPTBot nennt, ClaudeBot, PerplexityBot oder meta-externalagent. Diese KI-Crawler sind längst da, in relevanter Zahl, und die wenigsten Betreiber haben je entschieden, wie sie mit ihnen umgehen wollen. Über Sichtbarkeit in KI-Antworten wird seit Monaten geschrieben, meist auf der Ebene von Content-Strategie. Der Teil, über den kaum jemand spricht, liegt eine Etage tiefer: auf dem Server, in der robots.txt und in der Frage, wie schnell und wie sauber Ihre Seiten ausgeliefert werden.
Welche KI-Crawler besuchen Ihre Website?
Die Bots in Ihrem Log verfolgen unterschiedliche Zwecke, und diese Unterscheidung ist der Kern der Sache. Ein Teil sammelt Trainingsdaten. GPTBot von OpenAI gehört dazu, ClaudeBot von Anthropic, Bytespider von ByteDance, CCBot vom Common-Crawl-Projekt. Diese Zugriffe bringen Ihnen kurzfristig nichts. Ihre Inhalte fließen in ein Modell ein, das irgendwann trainiert wird, ohne Quellenangabe und ohne Klick. Ein anderer Teil holt Inhalte ab, weil gerade jemand eine Frage gestellt hat. OAI-SearchBot und ChatGPT-User arbeiten für die Suchfunktion in ChatGPT, Claude-User und Claude-SearchBot für Anthropic, PerplexityBot für Perplexity. Diese Abrufe sind das Gegenteil von wertlos, denn sie sind der Grund, warum Ihr Unternehmen in einer KI-Antwort mit Quellenlink auftauchen kann. Wer sie pauschal aussperrt, verschwindet aus genau der Sichtbarkeit, um die es gerade geht. Beide Gruppen respektieren die robots.txt, und beide lassen sich getrennt ansprechen. Genau darin liegt der Handlungsspielraum: Training untersagen, Antwort-Abrufe zulassen. Wer stattdessen mit einem pauschalen Disallow für alle Nicht-Google-Bots arbeitet, trifft eine weitreichende Entscheidung, ohne sie als solche wahrzunehmen.
Blockiert Google-Extended die AI Overviews?
Nein, und dieses Missverständnis kostet Reichweite. Google-Extended steuert ausschließlich, ob Ihre Inhalte für das Training der Gemini-Modelle verwendet werden. Die AI Overviews und der AI Mode greifen dagegen auf den regulären Suchindex zu, gefüllt vom ganz normalen Googlebot. Wer aus den KI-Antworten heraus möchte, müsste zu nosnippet oder max-snippet greifen und würde damit gleichzeitig das Textschnipsel in den klassischen Suchergebnissen verlieren. Das ist in aller Regel ein schlechtes Geschäft. Google arbeitet an einer sauberen Trennung. Am 3. Juni 2026 wurde in der Search Console unter "Einstellungen" eine Steuerung namens "Search generative AI" eingeführt, wirksam berücksichtigt wird sie seit dem 17. Juni 2026. Sie nimmt Inhalte aus AI Overviews, AI Mode und den generativen Funktionen in Discover heraus, ohne als Rankingsignal für die übrigen Suchergebnisse zu wirken. Ausgerollt wird sie zunächst nur an eine Teilmenge britischer Betreiber, Hintergrund ist eine Verfügung der britischen Wettbewerbsbehörde CMA. In Deutschland, Österreich und der Schweiz lässt sich damit derzeit nichts einstellen. Wer hier also aus den KI-Antworten heraus will, hat weiterhin keine verlustfreie Option. Und selbst wenn der Schalter kommt: Das KI-Training deckt er nicht ab, dafür bleibt Google-Extended zuständig.
Braucht Ihre Website eine llms.txt?
Kurz gesagt: nein. Die Idee klingt bestechend, eine Datei im Wurzelverzeichnis, die KI-Systemen in strukturierter Form erklärt, worum es auf Ihrer Website geht. In der Praxis passiert damit nichts. Google hat sich in seinen eigenen Leitlinien für generative Suchfunktionen ausdrücklich festgelegt, dass Search solche Spezialdateien nicht auswertet. Auch bei den übrigen Anbietern gibt es keine Zusage: Weder OpenAI noch Anthropic, Meta oder Mistral werten die Datei in ihren produktiven Systemen aus. Eine Auswertung von rund 300.000 Domains kommt auf eine Verbreitung von etwa zehn Prozent, und die bekannten Crawler rufen die Datei praktisch nie ab. Sie holen sich das HTML. Wer Ihnen eine llms.txt als Sichtbarkeitsmaßnahme verkauft, verkauft Ihnen Arbeitszeit. Die Punkte, die tatsächlich zählen, liegen woanders.
Was macht Inhalte für KI-Crawler lesbar?
KI-Systeme lesen Websites unter erschwerten Bedingungen. Sie haben kein Zeitbudget für langsame Server, viele von ihnen führen kein JavaScript aus, und sie bewerten Inhalte danach, wie eindeutig sich eine Aussage aus dem Text herauslösen lässt. Antwortzeiten sind der erste Hebel. Wer eine Time-to-First-Byte im Sekundenbereich hat, wird von Abruf-Bots seltener und weniger tief gelesen. Das ist derselbe Faktor, der auch für die klassische Suche zählt, und er lässt sich am Server messen statt schätzen. Der zweite Hebel ist die Auslieferung. Inhalte, die erst nach dem Rendern im Browser entstehen, existieren für viele KI-Crawler nicht. Wer sein CMS so betreibt, dass die tragenden Aussagen im ausgelieferten HTML stehen, ist deutlich besser dran. Bei WordPress, TYPO3, Shopware und Contao ist das eine Konfigurationsfrage, keine Neuentwicklung, und auf unserem CMS-Hosting ist die passende Grundeinstellung bereits gesetzt. Der dritte betrifft die Crawl-Last. Manche KI-Bots gehen ausgesprochen forsch vor und erzeugen auf kleineren Paketen spürbare Grundlast. Statt sie zu sperren, ist ein sauberes Rate-Limiting meist die bessere Antwort: Zugriff bleibt möglich, der Server bleibt ruhig. Auf einem Managed Server lässt sich das mit wenigen Zeilen abbilden, im Webhosting übernehmen wir die Grundabsicherung ohnehin. Und schließlich zählt, wie Ihre Texte gebaut sind. KI-Antworten zitieren Passagen, die für sich stehen. Ein Absatz, der eine Frage beantwortet, ohne dass man die drei Absätze davor gelesen haben muss, hat eine höhere Chance, als Quelle aufzutauchen, als eine kunstvoll aufgebaute Argumentationskette.
Wie finden Sie heraus, wer bei Ihnen crawlt?
Bevor Sie irgendetwas ändern, lohnt ein Blick in die Logs. Filtern Sie eine Woche nach den bekannten User-Agents und Sie sehen sofort, wer bei Ihnen vorbeikommt, wie oft, und ob sich der Zugriff auf einzelne Verzeichnisse konzentriert. Bei den meisten mittelständischen Websites ist das Ergebnis überraschend deutlich. Aus dieser Zahl heraus lässt sich dann eine bewusste Entscheidung treffen, statt eine vor Jahren kopierte robots.txt weiterlaufen zu lassen und zu hoffen, dass sie noch passt. Unser Support betreut seit 1998 Server in deutschen Rechenzentren und schaut sich die Auswertungen mit Ihnen gemeinsam an. Ein Anruf genügt, die Nummer finden Sie unter Kontakt.
