Wie du steuerst, welche KI Crawler deine Website lesen
Auf deiner Website sind längst mehr Maschinen unterwegs als Menschen, und ein wachsender Teil davon liest Inhalte für Antwortsysteme statt für eine Ergebnisliste. Welche davon du hereinlässt, ist eine Geschäftsentscheidung. Hier steht, welche Bots es gibt und wie du sie einzeln steuerst.
Lesedauer: 6min
Welche Bots heute auf deiner Website unterwegs sind
Die Zeit, in der Crawler gleichbedeutend mit Suchmaschinen waren, ist vorbei. Heute lassen sich drei Gruppen unterscheiden, die unterschiedliche Ziele verfolgen und deshalb getrennt behandelt gehören. Die erste Gruppe indexiert für die klassische Suche. Die zweite sammelt Material für das Training von Sprachmodellen. Die dritte ruft Seiten in dem Moment ab, in dem eine Person eine Frage stellt.
Diese Trennung ist keine Theorie, sondern in der Dokumentation der Anbieter sauber abgebildet. OpenAI etwa betreibt vier verschiedene Zugriffsarten mit eigenen Kennungen: einen für die Suche in ChatGPT, einen für das Training der Modelle, einen für nutzerausgelöste Abrufe und einen, der Zielseiten von Anzeigen prüft. Jede dieser Kennungen lässt sich einzeln erlauben oder sperren.
Für dein Unternehmen bedeutet das eine Entscheidung mit zwei Seiten. Sperrst du zu viel, verschwindest du aus Antworten, in denen deine Zielgruppe gerade nach Anbietern sucht. Sperrst du gar nichts, stellst du dein gesamtes Fachwissen kostenfrei als Trainingsmaterial bereit. Beide Wege sind vertretbar, aber keiner sollte zufällig entstehen. Wie sich der Zugang zur Website insgesamt absichern lässt, behandelt unser Beitrag zu den wichtigsten Schutzmaßnahmen für deine Website.
Warum die robots.txt hier die entscheidende Datei ist
Die Steuerung läuft über eine Textdatei im Wurzelverzeichnis deiner Domain. Dort stehen Regeln, die je Kennung festlegen, welche Bereiche abgerufen werden dürfen. Das ist ein alter Mechanismus, und genau darin liegt sein Vorteil: Die großen Anbieter halten sich daran und dokumentieren ihre Kennungen öffentlich.
Zwei Einschränkungen gehören dazu. Erstens ist eine Regel in dieser Datei eine Bitte und keine technische Sperre. Wer sie ignorieren will, kann das. Zweitens greifen die Regeln nicht in jedem Fall: OpenAI weist ausdrücklich darauf hin, dass für den nutzerausgelösten Abruf, also wenn jemand in ChatGPT nach einer bestimmten Seite fragt, die Regeln der Datei möglicherweise nicht gelten, weil die Aktion von einem Menschen ausgelöst wurde.
Änderungen wirken außerdem nicht sofort. OpenAI nennt etwa vierundzwanzig Stunden, bis eine Anpassung in den eigenen Systemen berücksichtigt ist. Wer testet, sollte also nicht am selben Nachmittag Schlüsse ziehen. Falls du feststellst, dass ganze Bereiche deiner Website plötzlich nirgends mehr auftauchen, lohnt zuerst der Blick in diese Datei, wie unser Beitrag dazu, warum deine Website bei Google nicht auftaucht, an mehreren Fällen zeigt.
Wie OpenAI zwischen Suche und Training trennt
Die vier Kennungen von OpenAI haben klar verschiedene Aufgaben, und die Unterscheidung ist für Unternehmen die praktisch wichtigste im gesamten Feld.
Die vier Kennungen und ihre Wirkung
OAI SearchBot bedient die Suchfunktion in ChatGPT. Wer diese Kennung sperrt, erscheint dort nicht mehr in den Antworten, kann aber weiterhin als Navigationslink auftauchen.
GPTBot sammelt Inhalte, die für das Training der Modelle verwendet werden können. Eine Sperre bedeutet, dass deine Inhalte nicht in das Training einfließen sollen.
ChatGPT User ruft Seiten ab, wenn eine Person danach fragt. Diese Abrufe sind nutzerausgelöst und werden nicht zur Bewertung herangezogen, ob Inhalte in der Suche erscheinen.
OAI AdsBot prüft Zielseiten, die als Anzeigen eingereicht wurden. Die dabei erhobenen Daten werden laut OpenAI nicht für das Training verwendet.
Die naheliegende Kombination für die meisten Unternehmen lautet deshalb: Suche erlauben, Training sperren. Diese Konstellation ist ausdrücklich vorgesehen und wird von OpenAI selbst als Beispiel genannt. Wer beide erlaubt, ermöglicht es, dass ein einzelner Abruf für beide Zwecke genutzt wird, was die Last auf dem Server senkt.
Was Google Extended tatsächlich steuert
Bei Google ist die Lage anders und wird häufig missverstanden. Die KI Funktionen in der Suche, also AI Overviews und der AI Mode, sind Teil der Suche selbst. Gesteuert werden sie deshalb über die Regeln für den normalen Googlebot. Wer dort sperrt, verschwindet aus der Suche insgesamt, nicht nur aus den generativen Antworten.
Für die generativen Antworten allein gibt es keinen eigenen Schalter. Was du stattdessen hast, sind die Vorschaukontrollen: mit Anweisungen wie nosnippet, data nosnippet oder max snippet lässt sich begrenzen, wie viel aus deinen Seiten angezeigt wird. Die Kennung Google Extended betrifft hingegen andere Google Systeme und dient dazu, Training und Grounding dort einzuschränken. Sie hat laut Dokumentation keinen Einfluss auf das Ranking in der Suche.
Daraus folgt eine unbequeme Wahrheit für alle, die aus den AI Overviews aussteigen wollen: Der einzige zuverlässige Weg dorthin führt über einen Verzicht auf Sichtbarkeit in der Google Suche. Für die meisten Unternehmen ist das keine Option, weshalb die Energie besser in die Frage fließt, unter welchen Bedingungen eine Nennung tatsächlich Nutzen bringt.
Wann eine Sperre wirtschaftlich sinnvoll ist
Die Entscheidung hängt daran, womit du Geld verdienst. Wer Inhalte selbst verkauft, etwa Fachpublikationen, Kurse oder Datenbanken, hat ein handfestes Interesse daran, diese Inhalte nicht als Trainingsmaterial bereitzustellen. Wer dagegen Dienstleistungen anbietet und Inhalte als Beleg für Kompetenz veröffentlicht, verliert durch eine Sperre mehr, als er schützt.
Ein Mittelweg ist häufig der praktischste: geschützte Bereiche wie Kundenportale, Downloadbereiche und interne Dokumentationen konsequent sperren, öffentliche Fachbeiträge dagegen freigeben. Damit bleibt die Sichtbarkeit erhalten, ohne dass Material aus geschlossenen Bereichen abfließt. Welche Bereiche dabei ohnehin nicht öffentlich zugänglich sein sollten, klärt unser Beitrag dazu, was eine DSGVO konforme Website leisten muss.
Was llms.txt leistet und was nicht
Rund um die Datei llms.txt ist 2026 viel Beratungsangebot entstanden. Die Faktenlage ist überschaubar: Google hat ausdrücklich veröffentlicht, dass Google Search solche Dateien nicht nutzt. Sie schaden der Sichtbarkeit nicht und helfen dort auch nicht. Für andere Systeme kann eine gepflegte Datei durchaus einen Nutzen haben, denn manche Anbieter werten sie aus.
Die nüchterne Einordnung lautet deshalb: Eine llms.txt ist ein billiges Experiment, aber kein Ersatz für gute Inhalte und eine saubere Struktur. Wer sie anlegt, sollte sie auch pflegen, denn eine veraltete Übersichtsdatei ist schlechter als keine. Warum strukturierte Angaben im Seitenquelltext dagegen unabhängig davon sinnvoll bleiben, beschreibt unser Beitrag dazu, wie du mit Schema Markup in der Suche auffällst.
Wie du prüfst, ob deine Einstellungen greifen
Die Prüfung besteht aus drei Schritten, die zusammen etwa eine halbe Stunde dauern. Zuerst rufst du die Datei selbst über den Browser auf und liest, was dort tatsächlich steht. In vielen Unternehmen weicht der Inhalt von dem ab, was jemand vor zwei Jahren beschlossen hat.
Zweitens wertest du die Serverlogs nach Kennungen aus. Dort siehst du, welche Bots wie häufig kommen und welche Bereiche sie abrufen. Auffällig hohe Zugriffszahlen einzelner Kennungen sind gleichzeitig ein Kostenthema, weil sie Rechenleistung binden, was direkt auf die Punkte aus unserem Beitrag dazu einzahlt, was jede Sekunde Ladezeit kostet.
Drittens stellst du in den Systemen selbst Fragen, deren Antwort auf deine Website führen müsste, und prüfst, ob du genannt wirst. Das ist keine exakte Messung, aber es zeigt schnell, ob eine Sperre mehr blockiert als beabsichtigt.
Fazit: Eine bewusste Entscheidung statt eines Standardwerts
Die meisten Websites laufen heute mit einer Datei, die vor Jahren angelegt wurde und die neuen Kennungen gar nicht kennt. Damit ist die Entscheidung faktisch getroffen worden, nur eben von niemandem. Ein halber Tag Arbeit reicht, um sie bewusst zu treffen und zu dokumentieren, warum sie so ausfällt.
Die passende Reihenfolge lautet: erst klären, ob deine Inhalte Werbung oder Ware sind, dann die Kennungen setzen, dann prüfen. Auf unserer Startseite siehst du, wie wir technische Grundlagen, Inhalte und Sichtbarkeit zusammen betrachten, damit solche Einstellungen zur Geschäftsstrategie passen und nicht zum Zufall werden.
Quellen
OpenAI Developers: Übersicht der OpenAI Crawler mit OAI SearchBot, GPTBot, ChatGPT User und AdsBot
developers.openai.com/api/docs/botsGoogle Search Central: KI Funktionen und deine Website, inklusive Steuerung über Googlebot und Vorschaukontrollen
developers.google.com/search/docs/appearance/…Google Crawling Infrastructure: Liste der gängigen Google Crawler mit Google Extended und GoogleOther
developers.google.com/crawling/docs/crawlers-…Google Search Central: Leitfaden zur generativen KI Suche mit der Einordnung von llms.txt
developers.google.com/search/docs/fundamental…
