Zum Inhalt springen

SEO für KI: Was Sprachmodelle anders lesen als Suchmaschinen

Eine regionale Zahnarztkette betreibt vierzig fast identische Seiten, eine pro Standort. Jede trägt dieselbe Kopfzeile — vollständige Leistungsliste, ein Auswahlmenü für Standorte, eine Telefonnummer — und dieselbe dreispaltige Fußzeile, Wort für Wort auf jeder Seite wiederholt. Entfernt man dieses gemeinsame Gerüst, bleibt bei mehr als nur ein paar der vierzig Seiten: eine Adresse und ein Satz zu den Parkmöglichkeiten. Für jemanden, der über die Kopfzeile hinweg zu dem scrollt, weswegen er eigentlich gekommen ist, wirkt die Seite normal. Für etwas, das entscheiden muss, was Praxis Nummer 23 von Praxis Nummer 24 eigentlich unterscheidet, sind Kopf- und Fußzeile der größte Teil dessen, womit es arbeiten kann — und der ist überall gleich.

Was bedeutet „Inhalt“ für etwas, das eine Seite automatisiert liest?

Ein Browser muss sich diese Frage nicht stellen. Er stellt das gesamte Dokument dar, und das Auge eines Menschen filtert von selbst — Kopf- und Fußzeile werden übersprungen, ohne dass es dafür eine bewusste Anweisung bräuchte. Etwas, das eine Seite nach ihrem eigenständigen Inhalt durchsucht, hat kein Auge, das diese Filterung übernimmt. Es muss allein aus der HTML-Struktur ableiten, welche Blöcke das Gerüst der Website sind — auf jeder Seite vorhanden und deshalb über diese eine Seite nichts aussagend — und welche Blöcke die Substanz sind, wegen der jemand überhaupt hier ist.

Diese Trennung hat im Information Retrieval einen Namen: Boilerplate-Entfernung, oder Hauptinhaltsextraktion, und sie ist seit über zwanzig Jahren ein Forschungsthema, verfeinert über eine dokumentierte Reihe von Algorithmen, die genau dafür gebaut wurden, diese Grenze über beliebige Seitenvorlagen hinweg zuverlässig zu ziehen. Gelöst ist das Problem dadurch nicht, eher gut erforscht — verschiedene Werkzeuge ziehen die Grenze leicht unterschiedlich, und eine Seite, deren Hauptinhalt in einer ungewöhnlichen Markup-Struktur steckt, kann einen auf konventionellere Layouts trainierten Parser weiterhin verwirren.

Wie viel einer typischen Seite ist Beiwerk, nicht Inhalt?

Genug, dass es sich lohnt, es zu messen, statt es anzunehmen. Eine Prüfung, die eigens zur Bewertung der KI-Sichtbarkeit gebaut wurde, nimmt genau diese Trennung vor, auf jeder gecrawlten Seite: Sie entfernt Kopfzeile, Navigation, Fußzeile und Seitenleiste, zählt die verbliebenen Wörter und stellt diese Zahl der Wortmenge gegenüber, die in den gerade entfernten Bereichen stand. Machen die wiederkehrenden Elemente mehr als etwa sechzig Prozent der gesamten Seite aus, markiert die Prüfung das — nicht, weil Navigation schlecht wäre, sondern weil ein Textblock, der auf vierzig Seiten identisch ist, unmöglich der Grund sein kann, warum ausgerechnet eine dieser vierzig Seiten lesenswerter ist als die anderen.

Alle vierzig Seiten aus einer gemeinsamen Vorlage zu bauen, ist die naheliegende, vernünftige Entscheidung — niemand schreibt für jede Praxis von Hand eine neue Kopfzeile, und Besucherinnen profitieren davon, auf jeder Standortseite dasselbe Menü an derselben Stelle vorzufinden. Ließe man die Prüfung trotzdem über diese Seiten laufen, würden vermutlich die meisten der vierzig durchfallen: ein paar Sätze echten, seitenspezifischen Texts, eingebettet in mehrere hundert Wörter Kopf- und Fußzeile, die sich nie ändern. Dieselbe Einheitlichkeit, die die Vorlage für Besucherinnen sinnvoll macht, sorgt auf der Ebene des reinen Textes dafür, dass sich die vierzig Seiten fast identisch lesen — jede mit einer kleinen, seitenspezifischen Fußnote am Ende.

Hat eine klassische Suchmaschine denselben blinden Fleck?

Einen kleineren, und der Grund lohnt eine genauere Betrachtung. Eine Suchmaschine indiziert eine ganze Website über die Zeit hinweg und kann sich auf Signale stützen, die ein einzelner Abruf allein nicht liefert — wie sich die Struktur einer Seite zum Rest der Domain verhält, wie sich ihre Links über den gesamten Crawl hinweg verhalten, Muster, die über Millionen anderer Websites mit demselben Vorlagenproblem gelernt wurden. Ein System, das eine Antwort aus einer Handvoll frisch abgerufener Seiten zusammensetzt, hat dieses aggregierte Gedächtnis nicht. Es arbeitet eher seitenweise, mit welcher Trennung sein eigener Parser in diesem einen Durchlauf, an diesem einen Dokument, gerade zustande bringt.

Das ist eine Schlussfolgerung, kein von einem KI-Anbieter öffentlich dokumentierter Fakt — keiner der großen Anbieter veröffentlicht, wie sein System Beiwerk gegen Hauptinhalt gewichtet, sobald eine Seite einmal abgerufen wurde. Messbar ist die Eingabe, die ein System jeweils erhält, nicht das interne Gewicht, das es dieser Eingabe am Ende zuweist.

Behebt das Kürzen von Kopf- und Fußzeile das Problem?

Nur, wenn das, was darunterliegt, entsprechend wächst. Eine Seite mit drei Menüpunkten und zwei Sätzen Substanz hat weiterhin fast nichts Eigenständiges zu bieten — das Menü zu kürzen erzeugt den fehlenden Inhaltsanteil nicht, es lässt eine dünne Seite prozentual nur etwas weniger dünn aussehen. Was die Zahl tatsächlich verschiebt, ist die schwierigere Übung: mehr von dem zu schreiben, was diese eine Seite von ihren vierzig Geschwistern unterscheidet, nicht weniger von dem, was sie gleich macht. Eine Duplicate-Content-Prüfung erfasst das Geschwisterproblem aus einem anderen Blickwinkel — Seiten, die denselben Absatz unter einer anderen Überschrift wiederholen, konkurrieren um dasselbe Zitat, unabhängig davon, wie schlank ihre Navigation ist.

Wie sieht das auf einer echten Website aus, und warum braucht es den vollständigen Crawl?

Die Prüfung braucht Seiten, gegen die sie laufen kann, und wie viele sie zu sehen bekommt, hängt davon ab, welche Art Scan sie angefordert hat. Ein Basis-Scan liest nur die Startseite; ein vollständiger Crawl über eine ganze Reihe vorlagenbasierter Seiten hinweg — genau der Fall, in dem dieses Problem überhaupt auftritt — gehört zum kostenlosen Deep Scan (einmal kostenlos als Gast, zwei weitere pro Monat mit einem kostenlosen Konto, oder 9,99 € für einen weiteren). Eine einzelne Startseite hat das Vorlagenproblem selten, weil es auf der Website nichts gibt, wogegen sie sich wiederholen könnte; es sind die Standortseiten, die Kategorieseiten, die Varianten nach Stadt, für die diese Messung gebaut ist — und die zu erfassen bedeutet, mehr als eine URL zu crawlen. Die Audit-Methodik listet auf, was jede Stufe tatsächlich abruft. Eine Prüfung auf Seitenebene deckt eine verwandte Frage ab — ob die Absätze einer einzelnen Seite so geformt sind, dass sie sich zitieren lassen —, ohne dass dafür der Rest der Website nötig wäre.

Nichts davon belegt, was ein bestimmtes Modell mit diesem Verhältnis tatsächlich anfängt, sobald es die Seite vorliegen hat. Messbar ist die Form der Eingabe, die eine stark vorlagenbasierte Website liefert: größtenteils identisches Gerüst, mit einem seitenspezifischen Rest, der sich bei schlecht gebauten Vorlagen als dünner erweist, als er in einem Browser aussieht.

Häufig gestellte Fragen

Was ist der Unterschied zwischen dem, was ein Browser zeigt, und dem, was ein automatisiertes System auf einer Seite liest?

Ein Browser stellt eine Seite als ein einziges visuelles Ganzes dar — Kopfzeile, Navigation, Seitenleiste, Fußzeile und Haupttext an ihrem Platz —, sodass der Blick die Wiederholungen automatisch überspringt. Etwas, das dieselbe Seite maschinell nach ihrem eigenständigen Inhalt durchsucht, hat kein Layout, auf das es sich verlassen kann. Es muss allein aus dem Markup ableiten, welcher Text auf jeder Seite wiederkehrt und welcher tatsächlich zu dieser einen Seite gehört.

Wie viel einer typischen Seite ist Navigation und Fußzeile statt Inhalt?

Das schwankt je nach Website, aber bei Seiten aus einer gemeinsamen Vorlage — Standortseiten, Kategorieseiten, Produktlisten — kann die wiederkehrende Kopf- und Fußzeile den eigentlichen Text deutlich übersteigen. Eine Prüfung trennt beides und markiert eine Seite, sobald die wiederkehrenden Elemente mehr als etwa sechzig Prozent des gesamten Textes ausmachen.

Hat eine klassische Suchmaschine denselben blinden Fleck?

Einen kleineren. Hauptinhalt von Beiwerk zu trennen ist seit über zwanzig Jahren ein untersuchtes Problem im Information Retrieval, und Suchmaschinen hatten diese Zeit, um aggregierte Signale aufzubauen — über einen ganzen Crawl, eine ganze Website, einen ganzen Link-Graphen hinweg —, die das Rauschen einer einzelnen Seite abfedern. Ein System, das eine Antwort aus einer einzelnen frisch abgerufenen Seite zusammensetzt, hat dieses Polster nicht.

Löst das Kürzen von Navigationstext das Problem von selbst?

Nicht, wenn der Inhalt darunter dünn bleibt. Eine Seite mit einem knappen Menü und zwei Sätzen Substanz hat weiterhin fast nichts Eigenständiges zu bieten. Was den Anteil wirklich verschiebt, ist die schwierigere Übung: mehr von dem zu schreiben, was diese eine Seite von ihren Geschwisterseiten unterscheidet — nicht weniger von dem, was sie gleich macht.

Lässt sich das auch mit einem schnellen Basis-Scan der Startseite prüfen?

Teilweise. Die zugrunde liegende Prüfung läuft über die verfügbaren Seiten — beim vollständigen Deep Scan über die ganze gecrawlte Website, beim Basis-Scan nur über die Startseite. Ein Basis-Scan liefert also nur einen Ausschnitt; das Muster über eine ganze Reihe vorlagenbasierter Seiten hinweg zeigt sich erst mit dem vollständigen Crawl im Deep Scan.