Meta-ExternalAgent: Was Metas KI-Crawler auf Ihrer Website will
Am 7. September 2026 wuchs die robots.txt einer Website leise um acht Zeilen, die niemand im Team geschrieben hatte. Eine Cloudflare-Funktion namens Bot Preference Sync hatte für acht namentlich genannte Crawler – GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, Amazonbot, Bytespider und meta-externalagent – jeweils eine Disallow: /-Zeile vorangestellt, direkt über der eigenen Allow: /-Zeile der Website für genau diese Bots. Die Änderung ging live und wurde indexiert, bevor es jemandem auffiel. Niemand hatte die Datei angefasst. Ein Schalter im Dashboard, mehrere Ebenen von dem Texteditor entfernt, den jemand normalerweise öffnen würde, um den Crawler-Zugriff zu ändern, hatte sie stattdessen umgeschrieben.
Meta-ExternalAgent war einer der acht Namen in dieser Umschreibung – und zugleich einer der Crawler auf dieser Liste, die sich am leichtesten verwechseln lassen. Meta betreibt mehrere Bots mit ähnlichen Namen und unterschiedlichen Aufgaben, und wer den einen mit dem anderen durcheinanderbringt, blockiert schnell das Falsche.
Was nimmt Meta-ExternalAgent eigentlich mit?
Metas eigene Entwicklerdokumentation ist bei der Zweckbeschreibung direkt: Meta-ExternalAgent “durchsucht das Web für Anwendungsfälle wie das Training grundlegender KI-Modelle oder die Verbesserung von Produkten durch direkte Indexierung von Inhalten.” Das ist die gesamte angegebene Aufgabe. Er ist nicht als Antrieb für ein sichtbares Feature beschrieben, das jemand wiedererkennen würde – er füttert Modelltraining und interne Produktindexierung, auf einem Zeitplan, den wie bei jedem anderen Trainings-Crawler niemand außerhalb Metas einsehen kann.
Die Dokumentation hält außerdem fest, dass Meta-ExternalAgent robots.txt respektiert, und nennt die gängige Lösung: ein User-agent: meta-externalagent-Block mit Disallow: /, der laut Meta bis zu 24 Stunden braucht, um zu wirken, weil der Crawler bis dahin noch eine zwischengespeicherte Fassung der Datei lesen kann. So weit ist die Sache einfach. Schwierig wird es erst bei der Frage, welcher Bot da überhaupt anfragt.
Meta-ExternalAgent ist nicht der Bot hinter den Linkvorschauen
Der Crawler, dem die meisten Website-Betreiber tatsächlich schon begegnet sind, auch ohne seinen Namen zu kennen, heißt facebookexternalhit. Seine Aufgabe, laut derselben Meta-Dokumentation, ist es, Titel, Beschreibung und Vorschaubild einer geteilten Seite zu holen, damit ein in Facebook, Instagram oder Messenger geposteter Link eine Vorschaukarte zeigt. Mit KI-Training hat das nichts zu tun. Wer ihn blockiert, meldet damit kein einziges Bit vom Modelltraining ab – die Links zu dieser Website erscheinen in Meta-Apps danach einfach ohne Vorschau.
Die beiden Bots unterscheiden sich nicht nur in der Aufgabe, sondern werden in derselben Dokumentation auch unterschiedlich behandelt. Meta schreibt, facebookexternalhit könne robots.txt “umgehen”, wenn er eine Sicherheits- oder Integritätsprüfung durchführt – etwa einen Link vor der Vorschau auf Schadsoftware scannt. Eine solche Aussage trifft Meta über Meta-ExternalAgent nicht: Der Trainings-Crawler ist derjenige, dem die Dokumentation zuverlässiges Befolgen einer Disallow-Regel zuschreibt, und der Vorschau-Abrufer ist derjenige, der diese Regel laut Meta mitunter ignorieren darf.
Das ist genau umgekehrt zu dem, was die Namen vermuten lassen. Wer eine Liste von “Meta”-Bots überfliegt und den blockiert, der bedeutsamer klingt – oder den, der aus einer irgendwo kopierten Blockliste gerade zur Hand war –, kann am Ende den zuverlässigen, regelkonformen Trainings-Crawler sperren und dabei den Vorschau-Abrufer, der die Regel ohnehin ignorieren darf, vollständig unberührt lassen. Das Ergebnis, das niemand wollte: eine kaputte Vorschaukarte bei einem geteilten Link, während der eigentliche KI-Trainings-Crawler weiterläuft.
Kaum jemand blockiert ihn bislang
Mit Stand 22. Oktober 2026 liegt der Anteil laut dem täglichen Scan der Top-1.000-Websites von Known Agents, der meta-externalagent in robots.txt sperrt, bei 19 Prozent. Das ist eine kleine Minderheit, und sie zeigt, wie neu dieser bestimmte Name im Wortschatz der meisten Website-Betreiber noch ist, verglichen mit älteren, vertrauteren wie GPTBot. Wer diesen speziellen Crawler aussperren will, tut vorerst noch etwas, womit die meisten Mitbewerber sich noch nicht befasst haben.
Was robots.txt nicht zeigt
Der September-Vorfall ist der Grund, eine veröffentlichte robots.txt-Datei als Behauptung statt als Tatsache zu behandeln. Die Prüf-Engine hinter dieser Website liest die robots.txt einer Seite aus und meldet, welche von achtzehn namentlich erfassten KI-Crawlern sie zulässt – meta-externalagent eingeschlossen. Diese Prüfung sagt aber nur, was die Datei behauptet, nicht, was eine echte Anfrage tatsächlich bekommt. Eine kleinere, eigene Auswahl von Crawlern erhält im Rahmen eines vollständigen Audits zusätzlich eine echte Anfrage auf Serverebene; Meta-ExternalAgent gehört derzeit nicht dazu. Die einzige Stelle, an der er tatsächlich eine echte, live gesendete Anfrage erhält, ist der kostenlose KI-Crawler-Check: Er schickt eine Anfrage mit dem echten User-Agent von Meta-ExternalAgent und meldet, was zurückkommt – und erkennt dabei auch Cloudflares Antwort “Your request was blocked” als genau das, statt sie wie einen gewöhnlichen Verbindungsfehler zu behandeln.
Diese Lücke zwischen dem, was eine Datei behauptet, und dem, was ein Server tatsächlich tut, geht in beide Richtungen. Eine Website kann eine saubere, erlaubende robots.txt haben und Meta-ExternalAgent trotzdem auf der CDN-Ebene mit 403 abweisen, unsichtbar für jeden, der nur die Textdatei liest. Oder, wie der September-Fall zeigte, die Datei selbst kann etwas behaupten, das der Website-Betreiber nie geschrieben hat – eingefügt von einer Funktion, die in einem ganz anderen Teil des Dashboards sitzt als dem, den jemand für den Crawler-Zugriff im Blick hätte.
Was tatsächlich zu tun ist
Entscheiden Sie getrennt, ob Meta-ExternalAgent und facebookexternalhit zugelassen werden sollen – es sind unterschiedliche Bots mit unterschiedlichen Aufgaben, und eine für den einen geschriebene Regel ändert am anderen nichts. Geht es um ein Opt-out vom Training, ist meta-externalagent der entscheidende Name, und genau den dokumentiert Meta als zuverlässig regelkonform. Geht es darum, Linkvorschauen funktionsfähig zu halten, lassen Sie facebookexternalhit unberührt und suchen Sie die Ursache woanders, falls Vorschauen dennoch ausbleiben – der Crawler, der sie erzeugt, ist nicht garantiert, die Regel überhaupt zu prüfen.
Prüfen Sie dann die Datei, die tatsächlich live ist, nicht die im Repository. Eine Regel, die niemand im Team je geschrieben hat, kann trotzdem in einer robots.txt landen, die ein Crawler empfängt – genauso wie im September acht Disallow-Zeilen auf einer Website auftauchten, ohne einen einzigen Commit dahinter.
Häufig gestellte Fragen
Was macht Meta-ExternalAgent eigentlich mit den Seiten, die er liest?
Metas eigene Entwicklerdokumentation sagt, der Crawler durchsuche das Web für Zwecke wie das Training grundlegender KI-Modelle oder die Verbesserung von Produkten durch direkte Indexierung von Inhalten. Das ist der gesamte angegebene Zweck – keine Rede von Linkvorschauen, keine Rede von einer bestimmten sichtbaren Funktion in Facebook oder Instagram.
Ist Meta-ExternalAgent derselbe Bot, der die Linkvorschauen bei Facebook erzeugt?
Nein. Dafür ist ein eigener Agent zuständig, facebookexternalhit, der eine Seite abruft, um Titel, Beschreibung und Vorschaubild für eine geteilte Verlinkung zu holen. Metas Dokumentation beschreibt beide als getrennte Crawler mit getrennten Aufgaben – wer den einen blockiert, ändert am anderen nichts.
Wenn ich Meta-ExternalAgent blockiere, verschwindet dann die Vorschaukarte meiner Links bei Facebook oder Instagram?
Nicht durch diese Regel allein. Vorschauen laufen über facebookexternalhit, nicht über Meta-ExternalAgent. Der Fehler passiert in der Praxis meist andersherum: Wer das KI-Training stoppen will, blockiert versehentlich den falschen, ähnlich benannten Bot – und zerstört die Vorschau, ohne das Training überhaupt zu berühren.
Hält sich Meta-ExternalAgent an eine Disallow-Regel in robots.txt?
Metas Dokumentation beschreibt ihn als Crawler, der robots.txt respektiert, und dokumentiert die übliche Disallow-Syntax dafür – Änderungen brauchen laut Meta bis zu 24 Stunden, um zu greifen. Zu Seiten, die vor einer solchen Regel schon gesammelt wurden, äußert sich die Dokumentation in keine Richtung.
Kann eine robots.txt-Datei blockierende Regeln enthalten, ohne dass jemand sie bearbeitet hat?
Ja. Eine CDN- oder Bot-Management-Funktion kann die tatsächlich ausgelieferte robots.txt umschreiben und Regeln über oder unter das setzen, was die Website selbst veröffentlicht hat. Die Datei, die ein Website-Betreiber geschrieben hat, und die Datei, die ein Crawler empfängt, sind nicht garantiert dieselbe – und im Dashboard macht meist niemand auf den Unterschied aufmerksam.