Googlebot

Der Googlebot ist das Crawler-Programm von Google, das Webseiten automatisiert abruft, um deren Inhalte für den Suchindex zu sammeln. Er folgt Links, lädt HTML, CSS und JavaScript und übergibt die Daten an die Rendering- und Indexierungssysteme von Google. Es existieren Varianten für Smartphone und Desktop.

Seit der Umstellung auf Mobile-First-Indexierung nutzt Google primär den Smartphone-Googlebot zur Bewertung von Seiten. Über die robots.txt und Meta-Robots-Anweisungen lässt sich steuern, welche Bereiche der Bot crawlen und indexieren darf. Sein Verhalten und etwaige Fehler lassen sich in der Google Search Console nachvollziehen.