KI-Crawler Prüfung

Robots.txt & KI-Crawler Prüfer

Prüfen Sie Berechtigungen für generative KI-Suchbots (ChatGPT, Claude, Perplexity) und llms.txt.

Dieses Tool auf Ihrer Website einbinden

Binden Sie das vollständige interaktive Tool per <iframe> oder <script> in Ihren Blog oder Ihre Dokumentation ein.

Kostenlos & Iframe-bereit

<iframe src="https://aivisibilitycheck.io/de/tools/robots-txt-checker/?embed=true" width="100%" height="720" frameborder="0" style="border:1px solid #e5e7eb; border-radius:12px; max-width:100%; box-shadow:0 1px 3px rgba(0,0,0,0.05);"></iframe>
<div style="font-size:12px; text-align:right; margin-top:6px; color:#6b7280; font-family:system-ui,sans-serif;">
  Powered by <a href="https://aivisibilitycheck.io/de/tools/robots-txt-checker/" target="_blank" rel="noopener" style="color:#0284c7; text-decoration:none; font-weight:500;">AI Visibility Check</a>
</div>

technischer leitfaden & best practices

Wie Sie hochperformante XML-Sitemaps für Google & KI-Suchmaschinen erstellen

XML-Sitemaps sind das primäre Protokoll, über das Suchmaschinen und KI-Crawler kanonische Seiten entdecken, Aktualisierungen erfassen und mehrsprachige Versionen zuordnen.

Empfohlene Best Practices

✓Nur kanonische 200-OK-URLs aufnehmen (keine 301-Weiterleitungen, 404-Fehler oder noindex-Seiten).

✓Gültige W3C ISO 8601 Zeitstempel für <lastmod> verwenden.

✓xmlns:xhtml Namespace für Mehrsprachigkeit deklarieren und wechselseitige hreflang-Links einbetten.

✓Immer einen x-default hreflang Fallback für globale Besucher angeben.

häufige fragen

Fragen & Antworten

Wie groß darf eine XML-Sitemap maximal sein?

Eine einzelne Sitemap-Datei darf maximal 50.000 URLs enthalten und 50 MB unkomprimiert nicht überschreiten. Größere Websites nutzen einen Sitemap-Index.

Wie funktionieren xhtml:link hreflang Tags in Sitemaps?

Sprachalternativen können direkt in der Sitemap deklariert werden, wodurch das HTML im <head> schlank und schnell bleibt.

Warum dürfen keine Localhost-URLs in der Sitemap sein?

Interne Staging- oder Entwicklungs-URLs verschwenden Crawling-Budget und können interne Testpfade öffentlich exponieren.