Wie Perplexity seine Quellen auswählt
Perplexity hat nicht einen Crawler, sondern zwei, und sie folgen verschiedenen Regeln. PerplexityBot baut den Suchindex und ist ausdrücklich nicht dafür da, Inhalte für Basismodelle zu sammeln, während Perplexity-User eine Seite holt, weil gerade jemand gefragt hat, und robots.txt dabei in der Regel ignoriert. Welcher von beiden bei Ihnen ankommt, entscheidet, ob Sie im Index stehen oder nur einmal zitiert werden.
Zwei Crawler, zwei Abmachungen
Die meisten Betreiber behandeln KI-Crawler als eine Gruppe und schreiben eine Regel für alle. Perplexity teilt die Aufgabe in der eigenen Dokumentation in zwei, und diese Teilung wiegt schwerer als die Namen.
PerplexityBot ist beschrieben als der Agent, der Webseiten in den Suchergebnissen sichtbar macht und verlinkt, und nicht dazu dient, Inhalte für KI-Basismodelle zu sammeln. Er entscheidet, ob Ihre Seiten überhaupt im Index stehen. Wer ihn sperrt, nimmt sich aus dem Vorrat, aus dem ausgewählt wird. Das ist eine Entscheidung, die man bewusst trifft und nicht durch das Kopieren einer robots.txt aus einem Forum.
Perplexity-User ist die andere Hälfte. Er unterstützt Nutzeraktionen: Jemand stellt eine Frage, das System besucht eine Seite, um genau zu antworten, und verlinkt sie. Perplexity schreibt klar, dass dieser Abrufer robots.txt in der Regel ignoriert, weil ein Nutzer den Abruf verlangt hat. Ein pauschales Verbot erzeugt also nicht die Stille, die viele erwarten.
Damit zerfällt die verbreitete Frage „soll ich KI aussperren“ in zwei getrennte Fragen: Wollen Sie im Index stehen, und was passiert, wenn jemand trotzdem nach Ihnen fragt. Die zweite Frage beantwortet Ihre robots.txt nicht.
Die Zahlen, die den Unterschied praktisch machen
2 dokumentierte Agenten, 2 veröffentlichte IP-Listen, und 1 der beiden hält sich an robots.txt. Das ist die ganze Abmachung, und sie passt in drei Zeilen einer Konfigurationsdatei.
Die geschäftliche Seite verdient dieselbe Aufmerksamkeit. In einem gemessenen Konto für den Zeitraum 1. Oktober 2024 bis 30. April 2025 schloss der Verkehr aus Perplexity zu 10,5 Prozent ab, gegenüber 1,76 Prozent aus der organischen Suche, ChatGPT lag bei 15,9 Prozent, Claude bei 5 Prozent, Gemini bei 3 Prozent. Die Menge hinter diesen Quoten ist klein, und genau deshalb sind die Quoten der interessante Teil: wenige Besuche, die schon wissen, was sie wollen.
Auf der Nachfrageseite nutzten 45 Prozent der Verbraucher 2026 ein KI-Werkzeug, um einen lokalen Betrieb zu finden, ein Jahr zuvor waren es 6 Prozent, und sie sehen im Schnitt in sechs Bewertungsportale. Eine Quelle, die in mehreren dieser sechs auftaucht, ist die, die ein Assistent gefahrlos wiederholen kann.
Unsere eigene Messung von 187 Live-Hosts in diesem Netz ergab 25 ganz ohne robots.txt, 6 mit llms.txt und 0 mit gesperrtem KI-Crawler. Der typische Betrieb hat zu all dem keine Haltung, und das heißt in der Praxis: er wird indexiert.
| Agent | Zweck | robots.txt |
|---|---|---|
| PerplexityBot | Zeigt und verlinkt Seiten in den Suchergebnissen, kein Modelltraining | Wird beachtet, Freigabe empfohlen |
| Perplexity-User | Holt eine Seite zur Beantwortung einer laufenden Frage | Wird in der Regel ignoriert, weil ein Nutzer den Abruf auslöste |
Was man mit den zwei Regeln macht
Entscheiden Sie einmal und schriftlich, ob Sie im Index stehen wollen. Lautet die Antwort ja, erlauben Sie PerplexityBot ausdrücklich, statt sich auf einen Platzhalter zu verlassen, den später jemand enger zieht. Lautet sie nein, rechnen Sie damit, dass Perplexity-User die Seite trotzdem holt, wenn jemand nach Ihnen fragt, und richten Sie die Seite darauf ein, gelesen zu werden.
Und prüfen Sie, statt zu raten. Beide Agenten veröffentlichen ihre IP-Bereiche als JSON. Eine Logzeile, die behauptet, PerplexityBot zu sein, lässt sich also gegen die veröffentlichte Liste halten. Gefälschte Kennungen sind billig, passende IP-Bereiche nicht.
Fragen und Antworten
Hält mich eine Sperre von PerplexityBot aus den Antworten heraus?
Werden meine Inhalte zum Training benutzt?
Wie prüfe ich, ob ein Besuch echt war?
Ist dieser Verkehr etwas wert?
Quellen
- Perplexity, Crawler-Dokumentation Beide Agenten, ihre Zwecke und das Verhalten gegenüber robots.txt
- Seer Interactive, Studie zur Abschlussquote von KI-Verkehr Abschlussquoten je Quelle für den 1. Oktober 2024 bis 30. April 2025
- BrightLocal, Local Consumer Review Survey 2026 KI-Nutzung für lokale Empfehlungen und der Schnitt von sechs Bewertungsportalen
