Crawl-Budget

Das Crawl-Budget beschreibt, wie viele Seiten einer Website der Googlebot innerhalb eines bestimmten Zeitraums abruft. Es ergibt sich aus der Crawl-Kapazität, die der Server verträgt, und dem Crawl-Bedarf, der von Aktualität und Beliebtheit der Inhalte abhängt. Für kleine Websites ist das Budget selten ein Engpass.

Relevant wird das Crawl-Budget vor allem bei großen Websites mit Hunderttausenden URLs, etwa Onlineshops mit vielen Filter- und Parameterseiten. Verschwendetes Budget durch Duplikate, endlose Parameter-URLs oder Soft-404-Seiten verhindert, dass wichtige Inhalte zeitnah gecrawlt werden. Optimierungen umfassen saubere interne Verlinkung, gepflegte Sitemaps und das Sperren irrelevanter Bereiche.