CCBot und Common Crawl: Das Archiv hinter dem KI-Training

Von Manfred Mayer Rieger · Veröffentlicht 24. Oktober 2026

Am 4. November 2025 veröffentlichte das Magazin The Atlantic eine Recherche, die Common Crawl vorwarf, Verlage über die Löschung ihrer Inhalte aus dem eigenen Archiv getäuscht zu haben – als Beispiel diente eine Löschanfrage der New York Times vom Juli 2023, deren Artikel laut ausführlicher Berichterstattung über den Vorgang weiterhin im Archiv standen. Der Geschäftsführer von Common Crawl, Rich Skrenta, antwortete noch am selben Tag. Auf die Frage, warum die Inhalte nicht einfach entfernt worden seien, fiel seine Antwort unverblümt aus: Das Archivformat sei “bewusst unveränderlich angelegt. Man kann daraus nichts löschen.”

In diesem einen Satz steckt die ganze Geschichte dessen, wozu CCBot – der Crawler hinter diesem Archiv – eine Website tatsächlich verpflichtet, und das auf eine Weise, die der übliche Rat, einfach die robots.txt zu prüfen, nicht abdeckt.

Ein Crawl, der viele Labore füttert – nicht nur eines

Common Crawls eigene Seite zu CCBot beschreibt den Zweck schlicht: Daten von öffentlich zugänglichen Seiten sammeln, um ein freies, offenes Archiv für die Forschung aufzubauen. Von einem bestimmten KI-Unternehmen ist dort nirgends die Rede – muss es auch nicht. Das Archiv wird veröffentlicht, und zum Download steht es für jeden offen, der es will, und etliche haben zugegriffen. Eine Studie der Mozilla Foundation aus 2024 zu 47 Sprachmodellen, veröffentlicht zwischen 2019 und Oktober 2023, fand, dass mindestens 64 Prozent davon mit Common-Crawl-Daten trainiert wurden – bei GPT-3 allein stammten laut Mozilla über 80 Prozent der Trainings-Tokens aus genau diesem Archiv.

Darin liegt der strukturelle Unterschied zu den Crawlern, die an anderer Stelle auf dieser Website bereits behandelt wurden. GPTBot speist OpenAIs eigene Trainingspipeline, ClaudeBot die von Anthropic. Einen der beiden zu blockieren ist eine Entscheidung über ein einzelnes Unternehmen. Die Fänge von CCBot werden zu einem öffentlichen Datensatz, aus dem Dutzende voneinander unabhängige Labore schöpfen, ohne selbst je einen eigenen Crawler losgeschickt zu haben – vermutlich auch der Grund für eine Offenlegung, die zusammen mit der Antwort der Stiftung vom November 2025 auf die Löschvorwürfe bekannt wurde: OpenAI und Anthropic hatten 2023 jeweils 250.000 US-Dollar an Common Crawl gespendet. Die Crawler, die an anderer Stelle auf dieser Website schon ihren eigenen Beitrag bekommen haben, finanzieren damit im Grunde den, um den es hier geht.

Warum eine Sperre von heute das Gestern nicht rückgängig macht

Eine Disallow: /-Regel für CCBot funktioniert wie jede robots.txt-Regel: Sie ist eine Bitte, die der Crawler ab sofort befolgen soll. Was sie nicht kann, ist rückwirkend in einen bereits erstellten Snapshot einzugreifen. Das Archiv von Common Crawl entsteht aus monatlichen Crawls, jeweils gespeichert als Satz von WARC-Dateien – einem Format, das nach eigener Darstellung der Stiftung bewusst so angelegt ist, dass es nach dem Schreiben nie wieder bearbeitet wird. Eine Seite, die CCBot 2022 erfasst hat, liegt 2026 noch immer in diesem Snapshot von 2022, egal, was die robots.txt-Datei heute sagt.

Für Anfragen von Verlagen gibt es bei Common Crawl trotzdem einen Weg: Eine Seite auf der eigenen Website führt, was die Stiftung inzwischen Opt-Out Ledger nennt – eine laufend veröffentlichte, öffentliche Liste aller rechtlichen Löschanfragen seit 2025, verbunden mit der Zusage, diese weiter zu berücksichtigen. Nach eigener Beschreibung wirkt dieser Prozess aber nach vorn: Eine Domain wird aus künftigen Crawls herausgefiltert und aus dem entfernt, was die eigenen Such-Tools anzeigen – die bereits veröffentlichten Dateien selbst werden dabei nicht umgeschrieben. Einer der in der Berichterstattung zitierten Austausche betraf die dänische Rights Alliance, die im Juli 2024 die Entfernung der Inhalte ihrer Mitglieder verlangte; fünf Monate später schätzte ein Anwalt von Common Crawl, dass etwa die Hälfte der gemeldeten Inhalte aus dem, was die Tools noch zeigten, entfernt worden sei. Common Crawl wies zurück, irgendjemanden getäuscht zu haben. Dass die zugrunde liegenden Dateien dauerhaft bestehen bleiben, wurde dagegen nicht bestritten.

Was ein Ergebnis ohne Treffer wirklich bedeutet

In der Antwort auf genau diese Recherche steckt noch eine schärfere Pointe: Common Crawl erklärte, Index und Such-Tools seien dafür gebaut, Daten auffindbar zu machen – nicht, um einen rechtlichen Löschstatus zu bestätigen. Eine Domain ohne Treffer kann also entweder bedeuten “nie erfasst” oder “aus dem, was die öffentlichen Tools zeigen, herausgefiltert”. Von außen sehen beide Fälle identisch aus.

Diese Unschärfe ist relevant für alle, die den eigenen Stand prüfen wollen – auch für die tiefere Stufe des eigenen Audits dieser Website, die den öffentlichen Index von Common Crawl direkt für eine Domain abfragt, über die zwei jüngsten Snapshots hinweg, und zählt, wie viele Treffer und eigenständige URLs zurückkommen – eine andere Frage als das, was robots.txt schlicht erlaubt. Null Treffer gelten für eine kleine oder junge Website als unauffällig. Bei einer Domain, die groß und etabliert genug ist, dass sie längst im Archiv stehen sollte, wird genau dasselbe Nullergebnis dagegen als prüfenswert markiert – meist erklärt durch eine CCBot-Sperre in robots.txt, wobei sich laut Common Crawls eigener Darstellung der eigenen Tools eine frühere Löschanfrage als Ursache ebenfalls nicht ausschließen lässt. Diese Prüfung läuft nicht im kostenlosen Scan; sie gehört zum tieferen, neben einem separaten Schritt, der prüft, ob KI-Modelle die Marke überhaupt nennen, wenn man sie zu ihrer Kategorie befragt – kommen beide Ergebnisse gemeinsam leer zurück, schließt diese Kombination zumindest aus, dass die Modelle die Website kennen, sie aber bewusst nicht erwähnen.

Wer CCBot tatsächlich blockiert

Nicht viele Websites, wie sich zeigt – kaum mehr, als auch den Trainings-Crawler blockieren, dem bereits ein eigener Beitrag auf dieser Website gewidmet ist. Ein täglicher Scan der robots.txt-Dateien der Top 1.000 Websites durch Known Agents setzte die Sperrquote von CCBot zum 23. Oktober 2026 bei 24 Prozent an – knapp, aber doch etwas höher als die 22 Prozent, die für GPTBot am selben Tag gemessen wurden. Beide Zahlen zeigen: Eine klare Mehrheit großer Websites lässt die Tür vorerst offen.

Diese Tür offen zu lassen bedeutet weniger, ein einzelnes KI-Unternehmen am eigenen Inhalt trainieren zu lassen, als vielmehr, einem Archiv, das niemand bei der Website selbst kontrolliert und aus dem Labore schöpfen, deren Namen man vermutlich nie hören wird, weiter zu erlauben, das Vorhandene zu behalten und unbegrenzt zu erweitern. Ob sich dieser Tausch lohnt, hängt wohl weniger an CCBot selbst als daran, wie ein Verlag zu Daten steht, die von Anfang an nie dafür gedacht waren, zurückgenommen zu werden.