KI-Crawler

KI-Crawler sind automatisierte Bots von KI-Anbietern, die Webseiten abrufen, um Inhalte für Sprachmodelle nutzbar zu machen. Bekannte Beispiele sind GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic) und PerplexityBot. Sie unterscheiden sich im Zweck: Manche sammeln Trainingsdaten (GPTBot, ClaudeBot), andere erfassen Inhalte für KI-Suchantworten (OAI-SearchBot, PerplexityBot) oder rufen Seiten in Echtzeit ab, wenn ein Nutzer danach fragt (ChatGPT-User). Google-Extended ist dagegen kein Bot, sondern ein Steuerungstoken in der robots.txt, das regelt, ob von Googlebot abgerufene Inhalte für Gemini genutzt werden dürfen.

Gesteuert werden KI-Crawler in der Regel über die robots.txt, in der sich einzelne Bots per User-Agent erlauben oder ausschließen lassen. Die Entscheidung ist strategisch: Wer Trainings-Bots wie GPTBot blockiert, signalisiert, dass Inhalte nicht für das Modelltraining genutzt werden sollen, bleibt über Such-Bots wie OAI-SearchBot aber weiter für KI-Antworten zitierbar. Wer auch diese blockiert, verzichtet auf Sichtbarkeit und Zitate in ChatGPT, Perplexity und Co.

Für Generative Engine Optimization (GEO) ist die Zugänglichkeit für KI-Crawler eine technische Grundvoraussetzung. Dazu gehört auch, dass wichtige Inhalte serverseitig als HTML ausgeliefert werden, da viele KI-Bots JavaScript nicht oder nur eingeschränkt rendern.