#sitemap
3 Einzeiler mit diesem Stichwort.
Alle Einzeiler mit Tag sitemap
Alle URLs aus einem Sitemap-Index sammeln
$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u
Alle URLs aus einer sitemap.xml extrahieren
$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
Alle URLs einer sitemap.xml parallel auf Statuscode prüfen
$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort