Crawling

Crawling ist der Prozess, bei dem Suchmaschinen-Bots wie der Googlebot Webseiten systematisch abrufen und deren Inhalte sowie Verlinkungen auslesen. Die Bots folgen internen und externen Links von Seite zu Seite und entdecken so neue oder aktualisierte URLs. Crawling ist die Voraussetzung für die anschließende Indexierung.

Welche Seiten gecrawlt werden, steuern unter anderem die robots.txt, die interne Verlinkung und die XML-Sitemap. Eine klare Seitenstruktur und gute interne Links erleichtern den Bots die Arbeit. Bei sehr großen Websites spielt zusätzlich das Crawl-Budget eine Rolle, da nicht jede URL beliebig oft abgerufen wird.