OAI-SearchBot oder GPTBot: Was in der robots.txt freigeben?

Von Manfred Mayer Rieger · Veröffentlicht 18. September 2026

Wer GPTBot per robots.txt aussperrt, verschwindet damit nicht aus ChatGPTs Suchantworten. Dieser Crawler entscheidet nur, ob OpenAI die Inhalte einer Website für das Training künftiger Modelle nutzen darf. Ob eine Seite in ChatGPTs Live-Suche auftaucht — und dort zitiert wird —, entscheidet ein anderer Crawler: OAI-SearchBot. OpenAIs eigene Crawler-Dokumentation stellt klar, dass beide Einstellungen unabhängig voneinander funktionieren: Eine Website kann OAI-SearchBot zulassen und gleichzeitig GPTBot aussperren — oder umgekehrt, ohne dass sich die beiden Regeln gegenseitig beeinflussen.

Was macht OAI-SearchBot eigentlich?

Er durchsucht Seiten, um den Index aufzubauen, aus dem ChatGPTs Suchfunktion ihre Zitate zieht. OpenAIs Dokumentation ist hier eindeutig: Eine gesperrte Seite taucht nicht in ChatGPTs Suchantworten auf — sie kann aber weiterhin als reiner Link ohne Zitat erscheinen. Das ist die gesamte Aufgabe. Mit Training oder dem eigentlichen Wissen des Modells hat sie nichts zu tun — es geht nur darum, ob eine Seite überhaupt infrage kommt, sobald jemand ChatGPT etwas fragt, das genau diese Seite beantworten könnte.

GPTBot und OAI-SearchBot sind nicht dasselbe

Eine robots.txt-Regel, die unter der Überschrift „ChatGPT sperren“ beide Crawler in einem Rutsch aussperrt, geht von einer falschen Annahme aus. Die beiden erledigen unterschiedliche Aufgaben:

Eine Website, die nur GPTBot sperrt und damit rechnet, aus ChatGPT zu verschwinden, taucht trotzdem weiter in Zitaten auf — der Crawler, der diese Zitate tatsächlich speist, wurde nie berührt. Eine Website, die beide unter einer pauschalen Regel sperrt, schließt Training und Zitat in einem Schritt aus. Das kann Absicht sein oder einfach ein Nebeneffekt der weiter gefassten Regel.

Wo steht ChatGPT-User in dieser Reihe, und hält er sich an die robots.txt?

ChatGPT-User ist keiner der beiden anderen. Er baut nichts im Voraus nach einem festen Zeitplan auf, sondern wird genau einmal aktiv, mitten in einem Gespräch, in dem Moment, in dem eine Nutzerfrage ChatGPT dazu bringt, eine bestimmte Seite abzurufen. OpenAIs Dokumentation weist ausdrücklich darauf hin, dass robots.txt-Regeln für diesen Abruf möglicherweise nicht gelten, weil eine Person und kein automatisierter Auftrag die Anfrage ausgelöst hat. Wer GPTBot und OAI-SearchBot zusammen aussperrt, lässt diesen dritten Weg trotzdem offen: einen Live-Abruf, der eher einem Klick auf einen Link ähnelt als einem Crawler, der eine Website systematisch indexiert.

Dieser Unterschied wiegt bei OAI-SearchBot schwerer, als es zunächst wirkt. Eine Sperre entfernt eine Seite aus dem vorab aufgebauten Index, aus dem die meisten gewöhnlichen ChatGPT-Suchen schöpfen. Sie hindert ChatGPT-User aber nicht daran, genau diese Seite live abzurufen und zu zitieren, wenn ein einzelnes Gespräch zufällig genau dorthin führt. Eine Sperre des Index-Crawlers senkt die Wahrscheinlichkeit für beiläufige, alltägliche Zitate. Vollständig abriegeln lässt sich eine Seite damit nicht.

Was die robots.txt zu OAI-SearchBot nicht verrät

Die robots.txt zeigt nur, was eine Website erlauben will — nicht, was tatsächlich passiert, wenn eine Anfrage eintrifft. Die Audit-Engine hinter dieser Website, vollständig dokumentiert in der Methodik, prüft beides getrennt, für eine festgelegte Auswahl an Crawlern: Sie liest die robots.txt aus, und sie schickt zusätzlich eine Live-Anfrage unter der echten Kennung eines Crawlers, um zu sehen, ob ein CDN oder eine Firewall ihn trotz robots.txt-Freigabe stillschweigend blockiert. Diese zweite Prüfung deckt aktuell fünf Namen ab — Googlebot, GPTBot, ClaudeBot, PerplexityBot und Bingbot —, weil das die Crawler sind, nach denen Websitebetreiber am häufigsten fragen und die eine Bot-Regel am ehesten namentlich nennt.

OAI-SearchBot gehört noch nicht zu diesen fünf, obwohl seine robots.txt-Freigabe zu den achtzehn namentlich erfassten KI-Crawlern zählt, die ein Bericht prüft. Das ist eine echte Lücke, kein Rundungsfehler: Ein Bericht kann heute bestätigen, dass die robots.txt OAI-SearchBot erlaubt — er kann noch nicht bestätigen, dass der Server eine Anfrage unter diesem Namen auch tatsächlich durchlässt. Genau dieser Fehler tritt bei GPTBot und ClaudeBot bereits auf, wenn ein CDN-Schalter wie „KI-Scraper blockieren“ einen Crawler stillschweigend aussperrt, den die robots.txt eigentlich zulässt. Es gibt keinen Grund anzunehmen, dass OAI-SearchBot von diesem Fehler ausgenommen wäre — es fehlt bislang nur die Prüfung, die das direkt zeigen würde.

Was eine Website tatsächlich zulässt

Zwei getrennte Fragen entscheiden, ob eine Seite in ChatGPTs Live-Antworten zitiert werden kann: Erlaubt die robots.txt OAI-SearchBot, und — eine Frage, die keine robots.txt-Lektüre beantworten kann — reagiert der Server tatsächlich so, wie die Datei es verspricht. Wer über diesen einen Vergleich hinaus einen vollständigen Überblick über alle namentlich bekannten KI-Crawler sucht, findet ihn im KI-SEO-Ratgeber. Ein robots.txt-Prüfer beantwortet die erste Frage direkt und kostenlos. Die zweite braucht für die meisten namentlich geprüften Crawler eine echte Probe — und für diesen einen Crawler gibt es sie noch nicht.