EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Kaputte Links einer Website mit wget --spider finden

harmlosSEO-Checksdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
user@server
LC_ALL=C wget --spider -r -l 2 -nd -nv -w 1 -o /tmp/spider.log https://example.com/; grep -A 100 'broken link' /tmp/spider.log

Folgt allen Links bis zur angegebenen Tiefe, prüft sie nur auf Erreichbarkeit und schreibt das Protokoll in eine Datei. Am Ende stehen unter “Found N broken links” alle URLs, die nicht erreichbar waren. Interne 404er verschwenden Crawl-Budget und verschlechtern die Nutzererfahrung.

Hinweis: -w 1 wartet eine Sekunde zwischen Anfragen, bei großen Sites dauert das entsprechend. wget beachtet die robots.txt, gesperrte Bereiche werden nicht geprüft. LC_ALL=C sorgt für englische Meldungen, damit grep greift.

Auch gesucht als

  • defekte Links finden
  • Broken Link Check per Kommandozeile
  • 404 Links auf der Website suchen
  • Website crawlen und tote Links finden

Verwandte Einzeiler

Alle aus SEO-Checks

robots.txt abrufen und Disallow-Regeln anzeigen

$curl -s https://example.com/robots.txt | grep -iE '^\s*(user-agent|disallow|allow|sitemap):'
harmlosSEO-Checks

Häufigste 404-Fehler im Access-Log finden

#awk '$9 == 404 {print $7}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20
harmlosLogs

Permalinks und Rewrite-Regeln neu erzeugen

$wp rewrite flush --path=/var/www/vhosts/example.com/httpdocs
vorsichtWP-CLI

Alle URLs aus einem Sitemap-Index sammeln

$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs einer sitemap.xml parallel auf Statuscode prüfen

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort
harmlosSEO-Checks

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.