Können KI-Bots deine Website erreichen?
Prüfe, wie deine Website auf Anfragen mit den Kennungen bekannter KI-Crawler reagiert. Entdecke mögliche Sperren durch Server oder Firewall.
Verbindung wird hergestellt …
0 von 20 geprüftSo funktioniert der Test
Was prüfen wir?
Jedes Ergebnis beschreibt eine kontrollierte GET-Anfrage mit simuliertem User-Agent. Die Anfragen stammen aus der PHP-Hosting-Umgebung von GPT Insights und verwenden IPv4. Ausgehende IP, ASN und geografische Region sind nicht unabhängig verifiziert. Andere IPs, ASNs, Regionen, TLS-Fingerprints oder Cookies können andere Antworten erhalten. Kein echter Crawler-Zugriff wird verifiziert.
Bot-Kennungen, Betreiber und Kategorien stammen aus dem bestehenden Register von AI State of the Internet. Der Quick Check berücksichtigt Suche, Training und Retrieval; weitere Plätze werden anhand aktueller robots.txt-Nennungen im DACH-Datensatz befüllt. Diese Häufigkeiten sind kein weltweites Traffic-Ranking. Reine Steuerungstoken wie Google-Extended und Applebot-Extended, alte Aliasse, undokumentierte Identitäten und ungeeignete Namen werden ausgeschlossen. Die meisten Tests verwenden nur das registrierte Token; dokumentierte vollständige User-Agent-Beispiele sind gesondert gekennzeichnet. Quelle und Prüfdatum stehen in den Details. Das Register enthält nicht alle aktuellen vollständigen User-Agent-Strings.
robots.txt wird mit jeder getesteten Kennung abgerufen. Die Auswertung berücksichtigt den eingegebenen Pfad samt Query, exakte Produkt-Token-Gruppen ohne Beachtung der Großschreibung, zusammengeführte passende Gruppen, die längste passende Regel sowie Allow bei Gleichstand. Keine Einschränkung ist keine ausdrückliche Freigabe. Eine nicht lesbare, zu große oder als HTML ausgelieferte robots.txt ist unbekannt; 404/410 bedeutet fehlende Datei. Crawl-delay erscheint als nicht standardisierte Anweisung. Der kontrollierte Einseiten-Test kann auch bei einem botspezifischen Disallow eine Anfrage senden; er crawlt keine weiteren Inhalte.
AI State · Crawler-Register · Offizielle Bot-Quellen · OpenAI · Anthropic · Google · Apple · RFC 9309
Was bedeuten die Ergebnisse?
401, 403, 406 und 429 sind beobachtete Zugriffs- oder Ratenbegrenzungsantworten. Sie belegen keine botspezifische Sperrregel. Eine mögliche versteckte Sperre liegt vor, wenn robots.txt die URL nicht untersagt, die simulierte Anfrage aber eine dieser Antworten erhält. Die Browser-Kontrollen zeigen, ob normale Kennungen ebenfalls scheitern. 2xx mit Challenge-Indiz, 5xx, unerwartete Weiterleitungen und Transportfehler bleiben unklar. Header und Seitenmerkmale sind Infrastruktur-Indizien; sie beweisen nicht, wer die Sperre verursacht hat. Ob PHP erreicht wurde, bleibt ohne unabhängigen Anwendungsbeleg unbekannt.
1: Anfrage mit simuliertem User-Agent. 2: Vergleich kontrollierter Testherkünfte. 3: Beobachteter echter Anbieter-Request, verifiziert über offizielle IP-Netze, Forward-confirmed Reverse DNS oder vertrauenswürdige Signatur. 4: Konkrete Abwehraktion, bestätigt durch korrelierte Server-/Firewall-Logs. Identität und Abwehraktion werden getrennt geprüft. Erst ihre Kombination belegt die Sperre eines echten Crawlers durch eine bestimmte Sicherheitsschicht. Dieser öffentliche Check leistet Stufe 1. verified im Register bezeichnet Betreiber-Dokumentation, keine authentifizierte Anfrage. Verified Site Audit ist eine spätere Erweiterung.
Botspezifische Sperrantwort: Eine Crawler-Kennung erhält eine Sperrantwort bei erfolgreicher Browserkontrolle. Bots bevorzugt beantwortet: Eine Crawler-Kennung ist erfolgreich bei abgewiesener Browserkontrolle. Abweichende Antworten: Status, finale URL oder Inhaltstyp weichen von der Chrome-Kontrolle ab. Das sind gemessene Unterschiede nach User-Agent, keine Cloaking- oder Absichtsnachweise. Ein abweichender Hash der Inhaltsprobe allein wird nicht als Auffälligkeit gewertet.
Was kann der Test nicht feststellen?
Wir verwenden die Kennungen bekannter KI-Crawler, senden die Anfragen aber von unserer eigenen Testinfrastruktur. Deshalb können die Ergebnisse vom Verhalten echter KI-Crawler abweichen.
Zugelassen sind öffentliche HTTP/HTTPS-Domains auf Port 80/443. Jede Verbindung wird an eine geprüfte öffentliche IPv4-Adresse gebunden; DNS und Ziele werden nach Redirects erneut geprüft. Domainübergreifende Weiterleitungen, HTTPS-Downgrades und reine IPv6-Ziele werden nicht getestet. Jede Anfrage hat Zeit- und Größenlimits sowie höchstens zwei Redirects. Die Tests laufen nacheinander, mit höchstens zwei aktiven Berichten weltweit und einem pro Zielhost/IP. Stundenlimits: fünf Checks je Nutzer-IP, drei je Host, sechs je Ziel-IP und vierzig insgesamt. Diese vorsichtigen Limits können gemeinsames Hosting betreffen.
Berichte sind nur mit ihrem zufälligen 192-Bit-Zugriffslink erreichbar, laufen nach 24 Stunden ab und werden nicht indexiert. URL und technische Beobachtungen werden vorübergehend gespeichert; Antworttexte und Cookies werden nicht aufbewahrt. Es werden keine Branchenstatistiken erhoben. Download und Teilen sind freiwillig. Ein Full Check benötigt eine künftige Domainbesitzprüfung und ist derzeit deaktiviert.
Domaininhaber können Tests ausschließen: Liefere den exakten Text „deny“ unter /.well-known/ai-bot-access-checker-opt-out.txt aus oder sperre GPTInsightsBotAccessChecker in robots.txt. Kann die Browser-Kennung die Ausschlussdatei nicht lesen, folgt einmal eine dokumentierte Googlebot-Kennung; scheitern beide, stoppt der Scan. Nicht lesbare botspezifische robots.txt-Antworten können mit einer ausdrücklich gekennzeichneten Browser- oder Googlebot-Referenz verglichen werden. Das zeigt mögliche Abweichungen zur Referenz, keine verifizierte botspezifische Policy. Ein optionaler Verifikationsendpunkt und kontrollierte unabhängige Teststandorte sind geplant; beides wird noch nicht angeboten.