KI-Crawler Prüfung

Robots.txt & KI-Crawler Prüfer

Prüfen Sie, was die robots.txt erlaubt und was Ihr Server GPTBot, ClaudeBot, PerplexityBot und 10 weiteren KI-Crawlern tatsächlich antwortet. Kostenlos.

Dieses Tool auf Ihrer Website einbinden

Binden Sie das vollständige interaktive Tool per <iframe> oder <script> in Ihren Blog oder Ihre Dokumentation ein.

Kostenlos & Iframe-bereit

<iframe src="https://aivisibilitycheck.io/de/tools/robots-txt-checker/?embed=true" width="100%" height="720" frameborder="0" style="border:1px solid #e5e7eb; border-radius:12px; max-width:100%; box-shadow:0 1px 3px rgba(0,0,0,0.05);"></iframe>
<div style="font-size:12px; text-align:right; margin-top:6px; color:#6b7280; font-family:system-ui,sans-serif;">
  Powered by <a href="https://aivisibilitycheck.io/de/tools/robots-txt-checker/" target="_blank" rel="noopener" style="color:#0284c7; text-decoration:none; font-weight:500;">AI Visibility Check</a>
</div>

technischer leitfaden & best practices

Warum die robots.txt nur die halbe Wahrheit über KI-Crawler ist

Die robots.txt ist eine Bitte, keine Schranke. Sie sagt Crawlern, was sie abrufen dürfen, aber Server, CDN oder Firewall davor entscheiden, was sie tatsächlich bekommen. Eine Website kann GPTBot in der robots.txt erlauben, während ihr CDN GPTBot mit 403 abweist, und der Betreiber sieht eine saubere robots.txt und merkt nichts. Dieser Prüfer liest die robots.txt nach denselben Regeln wie die Crawler (RFC 9309), ruft die Seite dann als jeder KI-Crawler ab und zeigt beide Antworten nebeneinander.

Empfohlene Best Practices

✓Jeden gewünschten KI-Crawler mit einer ausdrücklichen Allow-Regel nennen, damit eine spätere Pauschalsperre sichtbar damit kollidiert, statt still die Bedeutung zu ändern.

✓Such-Crawler von Trainings-Crawlern trennen: OAI-SearchBot, Claude-SearchBot und PerplexityBot entscheiden, ob KI-Suchen Sie zitieren können; GPTBot, ClaudeBot und CCBot sammeln nur Trainingsdaten.

✓Bei Cloudflare AI Crawl Control (Block-Crawler-Schalter und KI-Bot-Richtlinien), Security › Bots und WAF-Regeln prüfen. Jede dieser Stellen kann Crawler sperren, die die robots.txt erlaubt.

✓Nach jeder Änderung an CDN, Firewall oder Bot-Schutz erneut prüfen. Dort entstehen die Sperren, und die robots.txt bleibt dabei unverändert.

häufige fragen

Fragen & Antworten

Meine robots.txt erlaubt GPTBot. Warum meldet das Tool, dass der Server ihn abgewiesen hat?

Weil etwas vor Ihrer Website GPTBot mit einem Fehler beantwortet hat, bevor die robots.txt überhaupt eine Rolle spielt. Bei Cloudflare ist meist der Block-Crawler-Schalter in AI Crawl Control oder eine Einstellung zum Blockieren von KI-Bots die Ursache, bei anderen Anbietern eine WAF- oder Bot-Schutz-Regel. Die Lösung liegt in diesem Dashboard, nicht in der robots.txt.

Verschwindet meine Website aus ChatGPT, wenn ich GPTBot sperre?

Nicht aus der ChatGPT-Suche. GPTBot sammelt nur Trainingsdaten. Ob die ChatGPT-Suche eine Seite zitieren kann, hängt von OAI-SearchBot ab, und Live-Abrufe im Gespräch laufen über ChatGPT-User. Alle drei werden getrennt gesteuert.

Wie genau ist ein Test mit dem User-Agent eines Crawlers?

Er zeigt, wie Ihre Website alles behandelt, was sich als dieser Crawler ausgibt, und so funktionieren die meisten CDN-Sperren. Manche Anbieter prüfen die großen Crawler zusätzlich anhand der IP-Adresse, daher kann der echte Bot gelegentlich anders behandelt werden. Das letzte Wort haben die Logs Ihres CDN.

Warum werden Google-Extended und Applebot-Extended nur in der robots.txt geprüft?

Es sind keine eigenen Crawler. Google und Apple rufen Seiten mit ihren normalen Bots ab und lesen diese Kennungen in der robots.txt, um zu entscheiden, ob die Inhalte für KI-Training genutzt werden dürfen.