EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Alle URLs einer sitemap.xml parallel auf Statuscode prüfen

harmlosSEO-Checksdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
user@server
curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort

Prüft alle URLs der Sitemap mit mehreren gleichzeitigen Anfragen und listet nur Abweichungen von 200 mit Statuscode. Eine saubere Sitemap enthält ausschließlich indexierbare Seiten mit Status 200, Weiterleitungen und Fehlerseiten darin verschwenden Crawl-Budget. Keine Ausgabe bedeutet: alles in Ordnung.

Hinweis: Die Parallelität mit Bedacht wählen, auf schwachen Servern oder hinter einer WAF lösen zu viele gleichzeitige Anfragen Sperren aus. Für eine beliebige URL-Liste aus Datei curl -s ... | grep durch cat datei.txt ersetzen.

Auch gesucht als

  • Sitemap auf 404 prüfen
  • Sitemap enthält Weiterleitungen
  • Statuscodes aller Sitemap-URLs
  • kaputte URLs in der Sitemap finden

Verwandte Einzeiler

Alle aus SEO-Checks

Alle URLs aus einem Sitemap-Index sammeln

$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Soft 404 prüfen: liefert eine nicht vorhandene Seite wirklich 404

$curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' https://example.com/diese-seite-gibt-es-nicht-$RANDOM
harmlosSEO-Checks

Wartungsmodus auf Status 503 und Retry-After prüfen

$curl -s -o /dev/null -D - https://example.com/ | grep -iE '^(HTTP/|retry-after:)'
harmlosSEO-Checks

Anzahl der Weiterleitungen und Endziel einer URL anzeigen

$curl -sL -o /dev/null -w 'Weiterleitungen: %{num_redirects}\nZiel: %{url_effective}\nStatus: %{http_code}\n' https://example.com/
harmlosSEO-Checks

Bilder ohne alt-Attribut auf einer Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<img[^>]*>' | grep -viE '\balt='
harmlosSEO-Checks

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.