KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot besuchen Ihre Website, damit KI-Systeme Ihre Inhalte kennen und zitieren können. Über die robots.txt steuern Sie, wer Zugriff bekommt. Für die meisten Unternehmen gilt: zulassen, denn wer blockiert, verschwindet aus KI-Antworten.
Was KI-Crawler tun
Klassische Suchmaschinen-Crawler wie der Googlebot füllen den Suchindex. KI-Crawler haben zwei zusätzliche Aufgaben: Sie sammeln Inhalte für das Training von Sprachmodellen, und sie holen live Informationen, wenn ein Nutzer in ChatGPT oder Perplexity eine Frage stellt. Nur wer für diese Bots erreichbar ist, kann in KI-Antworten als Quelle erscheinen.
Die wichtigsten Bots im Überblick
- GPTBot (OpenAI): sammelt Inhalte für das Modelltraining.
- OAI-SearchBot und ChatGPT-User (OpenAI): holen Inhalte für die Websuche in ChatGPT und für Live-Anfragen.
- ClaudeBot (Anthropic): crawlt für die Claude-Modelle.
- PerplexityBot: indexiert für die Antwortmaschine Perplexity.
- Google-Extended: steuert, ob Google Ihre Inhalte für seine KI-Modelle wie Gemini nutzen darf. Wichtig: Das Blockieren von Google-Extended entfernt Sie nicht aus der normalen Google-Suche und nicht aus AI Overviews, die auf dem regulären Googlebot basieren.
Blockieren oder zulassen?
Das ist eine Geschäftsentscheidung, kein Reflex. Verlage mit exklusiven Bezahlinhalten haben gute Gründe zu blockieren. Für Dienstleister, Händler und KMU ist die Rechnung meist umgekehrt: Ihre Inhalte sollen ja gefunden, genannt und empfohlen werden. Immer mehr Kaufentscheidungen beginnen mit einer Frage an eine KI, und wer dort nicht vorkommt, existiert für diese Kunden nicht.
So prüfen und steuern Sie den Zugriff
Die robots.txt liegt im Hauptverzeichnis Ihrer Website (ihredomain.ch/robots.txt). Eine Zeile wie "User-agent: GPTBot" gefolgt von "Disallow: /" sperrt den jeweiligen Bot komplett aus, "Allow: /" erlaubt ihn. Prüfen Sie zuerst, was aktuell drinsteht: Manche SEO-Plugins und Hosting-Anbieter blockieren KI-Crawler ungefragt. Ergänzend lohnt sich eine llms.txt, die KI-Systemen Ihr Angebot kompakt erklärt.
Ob Ihre Website für KI-Suchmaschinen optimal aufgestellt ist, prüfen wir im Rahmen unserer GEO-Optimierung, inklusive kostenlosem Audit.
Möchten Sie das für Ihr Unternehmen umsetzen? Wir prüfen Ihre Website kostenlos in der klassischen und der KI-Suche und zeigen die grössten Hebel.