EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

X-Robots-Tag-Header einer URL prüfen

harmlosSEO-Checksdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
user@server
curl -s -o /dev/null -D - https://example.com/ | grep -i '^x-robots-tag'

Fragt die URL per GET ab und zeigt nur den X-Robots-Tag-Header. Dieser wirkt wie ein meta robots, steht aber im HTTP-Header und wird daher bei einer Quelltextprüfung leicht übersehen. Wichtig auch für PDFs und Bilder, die keinen HTML-Kopf haben.

Hinweis: Keine Ausgabe heißt: kein solcher Header gesetzt. Typische Quellen sind Header set X-Robots-Tag in .htaccess oder add_header in nginx sowie Staging-Plugins.

Auch gesucht als

  • noindex im HTTP-Header
  • warum wird die Seite nicht indexiert
  • PDF auf noindex prüfen
  • X-Robots-Tag anzeigen

Verwandte Einzeiler

Alle aus SEO-Checks

Meta robots und noindex im HTML einer Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<meta[^>]*name=.?(robots|googlebot)[^>]*>'
harmlosSEO-Checks

Alle URLs aus einem Sitemap-Index sammeln

$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs einer sitemap.xml parallel auf Statuscode prüfen

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort
harmlosSEO-Checks

Anzahl der Weiterleitungen und Endziel einer URL anzeigen

$curl -sL -o /dev/null -w 'Weiterleitungen: %{num_redirects}\nZiel: %{url_effective}\nStatus: %{http_code}\n' https://example.com/
harmlosSEO-Checks

Bilder ohne alt-Attribut auf einer Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<img[^>]*>' | grep -viE '\balt='
harmlosSEO-Checks

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.