Welche KI-Crawler in der robots.txt freigegeben werden
Geben Sie die Crawler frei, die Sie vor Kunden bringen, und entscheiden Sie getrennt über die, die Modelle trainieren. OAI-SearchBot zeigt Sie in der ChatGPT-Suche, GPTBot dient allein dem Training, und das sind zwei unabhängige Schalter. Eine Sperre von Google-Extended wirkt sich auf die Google-Suche überhaupt nicht aus, das schreibt Google selbst.
Die vier OpenAI-Agenten, und warum die Unterscheidung zählt
OpenAI dokumentiert vier getrennte Kennungen, und sie leisten wirklich Verschiedenes. OAI-SearchBot dient dazu, Webseiten in den Suchfunktionen von ChatGPT anzuzeigen, das ist der Agent, der Ihren Betrieb einem fragenden Menschen zeigt. GPTBot holt Inhalte, die zum Training generativer Grundmodelle verwendet werden können, und das ist ein ganz anderes Geschäft.
ChatGPT-User ruft eine Seite ab, wenn jemand ChatGPT eine Frage stellt, die das erfordert. OpenAI hält fest, dass robots.txt-Regeln hier möglicherweise nicht greifen, weil der Abruf nutzerausgelöst ist. OAI-AdsBot prüft die Sicherheit von Seiten, die als Anzeige eingereicht werden. Jede Einstellung wirkt für sich, Sie können also in der Suche sichtbar sein und trotzdem aus dem Training bleiben.
Der Google-Schalter, der nichts kostet
Google-Extended ist die Kennung, mit der Betreiber steuern, ob geholte Inhalte künftige Gemini-Modelle trainieren und das Grounding für KI-Anwendungen stützen dürfen. Die Dokumentation ist ungewöhnlich deutlich zur Folge einer Sperre: Google-Extended beeinflusst weder die Aufnahme einer Seite in die Google-Suche noch dient es als Ranking-Signal.
Dieser Satz klärt die Frage, die Betriebsinhaber eigentlich stellen. Sie können das Gemini-Training verweigern, ohne Ihre Sichtbarkeit in der Suche zu riskieren. Aufgeben würden Sie das Grounding, also dass Gemini aus Ihren eigenen Seiten über Sie antwortet. Für einen lokalen Betrieb, der gefunden werden will, ist das meistens der falsche Tausch.
| Kennung | Zweck | Kosten einer Sperre |
|---|---|---|
| OAI-SearchBot | Anzeige in der ChatGPT-Suche | Sie verschwinden aus den ChatGPT-Suchergebnissen |
| GPTBot | Inhalte fürs Modelltraining | Nichts Sichtbares, der Inhalt fließt nicht ins Training |
| ChatGPT-User | Abruf, wenn ein Nutzer fragt | robots.txt greift hier womöglich gar nicht |
| Google-Extended | Gemini-Training und Grounding | Keine Wirkung auf die Google-Suche, laut Google selbst |
| GoogleOther | Allgemeine Abrufe für Forschung und Entwicklung | Betrifft kein bestimmtes Produkt |
Welcher dieser Agenten wirklich Besucher schickt
Die Entscheidung fällt leichter, wenn man weiß, woher der Verkehr kommt. Über 101.574 Webseiten und sechzehn Monate gemessen, trug ChatGPT 74,78 Prozent der KI-Verweise im Jahr 2026, Gemini 11,56 Prozent, Perplexity 7,23 Prozent, Copilot 3,51 Prozent und Claude 2,62 Prozent.
Die wertvollste Zeile Ihrer robots.txt ist demnach die, die OAI-SearchBot frei lässt, denn hinter diesem Agenten stehen drei Viertel der Besuche. Copilot wirkt mit 3,51 Prozent vernachlässigbar, bis man sich erinnert, dass er sich aus dem Bing-Index speist, in den man deutlich leichter hineinkommt als in den von Google. Zugleich nutzten 45 Prozent der Verbraucher 2026 KI-Werkzeuge zur Suche nach lokalen Betrieben, nach 6 Prozent im Jahr 2025. Der Anteil an einem kleinen Kuchen wächst also rasch.
Eine robots.txt für einen Betrieb, der gefunden werden will
Die Grundhaltung ist einfach. Alles freigeben, was zu einem Kunden führt, also OAI-SearchBot, ChatGPT-User, PerplexityBot, Bingbot und den normalen Google-Crawler. Danach eine eigene, bewusste Entscheidung über die Trainings-Crawler treffen, GPTBot und Google-Extended.
Unsere eigene Prüfung von 187 Live-Hosts im Juli 2026 zeigte, dass die Debatte an der Sache vorbeigeht. Null Hosts sperrten irgendeinen KI-Crawler, GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, CCBot, Google-Extended und Applebot-Extended hatten also überall freien Zugang. Die robots.txt des Netzes nennt inzwischen 10 Kennungen ausdrücklich, was Dokumentation ist und keine Beschränkung.
Der häufigste echte Fehler ist gar keine falsche Anweisung. In unserer Prüfung von 187 Live-Hosts lieferten 25 überhaupt keine robots.txt, womit sich jede Frage nach der Crawler-Politik dort erübrigt hatte. Erst die Datei schreiben, dann über ihren Inhalt streiten.
Fragen und Antworten
Soll ich GPTBot sperren?
Schadet eine Sperre von Google-Extended meinem Ranking?
Was gilt, wenn ich gar keine robots.txt habe?
Heißt KI-Crawler freigeben, dass mein Inhalt geklaut wird?
Quellen
- SE Ranking, AI traffic research study, 18. Juni 2026 Plattformanteile über 101.574 Webseiten
- BrightLocal, Local Consumer Review Survey 2026 1.002 Befragte; der Anteil, der KI zur lokalen Suche nutzt
- OpenAI, Dokumentation zu Bots und Crawlern Die vier Kennungen und wofür jede verwendet wird
- Google Search Central, Google crawlers and user agents Google-Extended, GoogleOther und die Aussage zur Wirkung auf die Suche
