ClaudeBot: Anthropics Crawler und was er auf Ihrer Website tut

Von Manfred Mayer Rieger · Veröffentlicht 13. September 2026

Ein Websitebetreiber, der ChatGPT vom Training ausschließen will, ergänzt in der robots.txt eine passende Zeile für ClaudeBot — in der Annahme, damit dasselbe bei Claude zu erreichen. Der Effekt bleibt aus. ClaudeBot hat mit einer laufenden Claude-Antwort nichts zu tun; er taucht in diesem Ablauf gar nicht auf. Ein Ausschluss ändert also nichts daran, ob Claude die Seite morgen zitiert.

Was ClaudeBot wirklich tut

Anthropics eigene Hilfe-Dokumentation beschreibt die Aufgabe genau: ClaudeBot sammle Web-Inhalte, die potenziell zum Training künftiger Modelle beitragen könnten, um deren Nutzen und Sicherheit zu verbessern. Das ist die gesamte Funktion. Er betreibt keine Suche, ruft keine Seite im Auftrag eines Nutzers ab und spielt bei der Antwort, die ein Claude-Nutzer liest, keine Rolle. Er baut einen Datensatz für ein künftiges Modell auf – nach einem Zeitplan, den niemand außerhalb Anthropics kennt.

Das Blockieren ist unkompliziert: User-agent: ClaudeBot gefolgt von Disallow: / in der robots.txt reicht, und laut Anthropics Dokumentation halten sich die eigenen Bots an diese Vorgabe.

ClaudeBot ist nicht der einzige Claude-Crawler

Anthropic nennt zwei weitere Agenten, jeder mit einer eigenen Aufgabe. Claude-User ruft eine konkrete Seite live ab, in dem Moment, in dem eine Nutzerfrage Claude genau dorthin schickt — ein Abruf auf Zuruf, kein Trainingsdurchlauf. Claude-SearchBot indexiert Inhalte im Voraus, ähnlich wie der Crawler einer Suchmaschine, damit Claudes eigene Suchergebnisse im Bedarfsfall darauf zurückgreifen können.

Die drei teilen sich keinen gemeinsamen Schalter. Eine Website, die nur ClaudeBot ausschließt, bekommt weiterhin Besuch von Claude-User und Claude-SearchBot, weil jeder eine eigene Zeile in der robots.txt trägt und eine eigene Aufgabe erfüllt. Eine pauschale Regel unter einem vagen Kommentar wie “Claude blockieren” — wie es viele Anleitungen im Netz vorschlagen — verfehlt entweder zwei der drei Agenten oder erwischt alle drei auf einmal: Training, Live-Zitat und Indexierung, obwohl eigentlich nur Ersteres gemeint war.

Was das Blockieren tatsächlich ändert

Der Ausschluss von ClaudeBot stoppt genau eine Sache: das künftige Sammeln von Seiten fürs Training. Er entfernt eine Website nicht aus Claudes Live-Antworten, weil dieser Pfad nie über diesen Bot lief. Er betrifft auch nicht Inhalte, die Anthropic bereits vor dem Ausschluss gesammelt hat — und die öffentliche Dokumentation sagt nicht, ob eine bereits erfasste Seite aus einem künftigen Trainingsdurchlauf entfernt wird, sobald eine Website das nachträglich untersagt. Das ist eine echte Lücke in dem, was öffentlich bekannt ist, und die dieser Beitrag nicht schließen kann.

Google-Extended ist gar kein Crawler

Der zweite Begriff, den es hier zu verstehen gilt, funktioniert grundlegend anders als alle Crawler zuvor. Google-Extended schickt keine eigenen Anfragen. Googles Entwicklerdokumentation stellt ausdrücklich klar, dass das Token kein Rankingfaktor ist und keinen Einfluss auf die Aufnahme in die Google-Suche hat. Den eigentlichen Abruf übernimmt weiterhin der Googlebot, wie schon immer — Google-Extended ist lediglich eine nachgelagerte Freigabe, die regelt, ob diese bereits gesammelten Inhalte Gemini und Vertex AI beim Training und beim Grounding dienen dürfen. Wer das Token ausschließt, verschwindet dadurch nicht aus der Google-Suche und auch nicht aus den KI-Übersichten, die auf dem laufenden Suchindex beruhen und nicht auf einem Trainingsdatensatz.

Damit ist die Rollenverteilung genau umgekehrt zu ClaudeBot: Der eine ist ein eigenständiger Bot mit eigenem User-Agent und eigener robots.txt-Zeile; das andere ist ein Freigabe-Flag, das auf einem Crawler mitläuft, der ohnehin schon da war.

Was die robots.txt nicht zeigt

Die robots.txt hält fest, was ein Websitebetreiber erlauben will. Sie sagt nichts darüber, was der Server tatsächlich tut, wenn eine Anfrage eintrifft. Die Audit-Engine hinter dieser Seite prüft deshalb beides getrennt — die vollständige Aufschlüsselung, was genau geprüft wird, steht in der Audit-Methodik: Sie liest die robots.txt für das, was erlaubt sein soll, und schickt zusätzlich eine echte Anfrage, die sich als ClaudeBot ausgibt — einer von wenigen namentlich geprüften Crawlern —, um zu sehen, wie der Server unter diesem Namen tatsächlich reagiert. Die beiden Antworten stimmen nicht immer überein. Eine Bot-Management-Regel im CDN kann einen Crawler stillschweigend blockieren, den die robots.txt erlaubt, und wer nur die Textdatei liest, bekommt davon nichts mit. Ein robots.txt-Checker liest die Datei selbst kostenlos aus, auch wenn erst ein Live-Test wie der oben beschriebene einen Server aufdeckt, der sich nicht an sie hält.

Google-Extended bekommt diese zweite Prüfung nie, weil es keine eigene Identität gibt, unter der eine Anfrage geschickt werden könnte — es ist kein Crawler, also gibt es auf Serverebene nichts zu testen. Der einzige Hebel bleibt die eine Zeile in der robots.txt.

Zu wissen, welcher Bot was tut, klärt die halbe Frage. Ob der Server tatsächlich das tut, was die robots.txt behauptet, klärt die andere Hälfte — und die zeigt sich nicht allein aus der Datei.