X-Robots-Tag

Das X-Robots-Tag ist eine Steuerungsanweisung für Suchmaschinen, die im HTTP-Antwort-Header einer Ressource gesendet wird. Es erfüllt dieselbe Funktion wie das Robots-Meta-Tag im HTML, lässt sich aber auch auf Dateien anwenden, die keinen HTML-Quelltext besitzen, etwa PDF-Dokumente, Bilder oder andere Medien.

Über das X-Robots-Tag lassen sich Direktiven wie noindex, nofollow, noarchive oder unavailable_after setzen. Die Konfiguration erfolgt serverseitig, beispielsweise in der .htaccess bei Apache oder im Server-Block bei Nginx, und kann gezielt nach Dateityp oder Verzeichnis ausgesteuert werden. Mehrere Werte werden kommagetrennt übergeben, optional mit Angabe eines spezifischen Crawlers.

Damit eine noindex-Anweisung greift, darf die betroffene URL nicht gleichzeitig per robots.txt vom Crawling ausgeschlossen sein, da der Crawler den Header sonst nicht ausliest. Das X-Robots-Tag ist deshalb das Mittel der Wahl, wenn Nicht-HTML-Ressourcen aus dem Suchindex gehalten werden sollen.