SEO-Checks

Technisches SEO direkt von der Kommandozeile: Weiterleitungsketten aufdecken, Statuscodes vieler URLs prüfen, robots.txt, Sitemap, Canonical und Antwortzeiten testen. Schneller als jedes Browser-Plugin und gut zu automatisieren.

24 Einzeiler: 24 harmlos, 0 vorsicht, 0 destruktiv

curl 22 seo 21 sitemap 3 statuscode 3 crawling 3 xargs 2 redirect 2 html 2 googlebot 2 https 2 noindex 2

Alle URLs aus einem Sitemap-Index sammeln

$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u

Alle URLs einer sitemap.xml parallel auf Statuscode prüfen

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort

Anzahl der Weiterleitungen und Endziel einer URL anzeigen

$curl -sL -o /dev/null -w 'Weiterleitungen: %{num_redirects}\nZiel: %{url_effective}\nStatus: %{http_code}\n' https://example.com/

Bilder ohne alt-Attribut auf einer Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<img[^>]*>' | grep -viE '\balt='

Canonical-Tag einer Seite per curl auslesen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<link[^>]*canonical[^>]*>'

Echten Googlebot per Reverse-DNS verifizieren

$n=$(host 66.249.66.1 | awk '/pointer/ {print $NF}'); echo "PTR: $n"; host "$n"

H1-Überschriften einer Seite auslesen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiP '<h1[^>]*>.*?</h1>' | sed -E 's/<[^>]+>//g; s/^\s+|\s+$//g'

hreflang-Tags einer Seite auslesen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<link[^>]*hreflang[^>]*>'

HTML- und Headergröße einer Seite messen

$curl -s -o /dev/null -w 'Status: %{http_code} Header: %{size_header} Bytes HTML: %{size_download} Bytes\n' https://example.com/

http, https, www und ohne www auf einmal testen

$for u in http://example.com/ http://www.example.com/ https://example.com/ https://www.example.com/; do curl -s -o /dev/null -m 10 -w "%{http_code} $u -> %{redirect_url}\n" "$u"; done

Interne Links einer Seite extrahieren und zählen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE 'href="[^"]+"' | sed -E 's/^href="//I; s/"$//; s/#.*//' | grep -E '^(/|https?://(www\.)?example.com)' | sort | uniq -c | sort -rn

Kaputte Links einer Website mit wget --spider finden

$LC_ALL=C wget --spider -r -l 2 -nd -nv -w 1 -o /tmp/spider.log https://example.com/; grep -A 100 'broken link' /tmp/spider.log

Meta robots und noindex im HTML einer Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<meta[^>]*name=.?(robots|googlebot)[^>]*>'

Mixed Content im HTML einer HTTPS-Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '(src|srcset|data-src)="http://[^"]+"|<link[^>]+href="http://[^"]+"|url\(.?http://[^)]+\)' | sort -u

Prüfen, ob der Server 304 Not Modified liefert

$curl -s -o /dev/null -w '%{http_code}\n' -H "If-Modified-Since: $(curl -sI https://example.com/ | grep -i '^last-modified:' | cut -d' ' -f2- | tr -d '\r')" https://example.com/

robots.txt abrufen und Disallow-Regeln anzeigen

$curl -s https://example.com/robots.txt | grep -iE '^\s*(user-agent|disallow|allow|sitemap):'

Seite als Googlebot abrufen und mit normalem Abruf vergleichen

$for ua in 'Mozilla/5.0 (X11; Linux x86_64)' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'; do curl -s -o /dev/null -A "$ua" -w "%{http_code} %{size_download} Bytes $ua\n" https://example.com/; done

Soft 404 prüfen: liefert eine nicht vorhandene Seite wirklich 404

$curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' https://example.com/diese-seite-gibt-es-nicht-$RANDOM

Strukturierte Daten (JSON-LD) einer Seite auslesen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oP '<script[^>]*application/ld\+json[^>]*>.*?</script>'

Title und Meta Description einer Seite per curl auslesen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<title[^>]*>[^<]*</title>|<meta[^>]*name=.?description[^>]*>'

TTFB mehrfach messen mit Minimum, Median und Maximum

$for i in $(seq 10); do curl -o /dev/null -s -w '%{time_starttransfer}\n' https://example.com/; done | LC_ALL=C sort -n | awk '{a[NR]=$1; s+=$1} END {printf "Min: %.3fs Median: %.3fs Max: %.3fs Schnitt: %.3fs\n", a[1], a[int((NR+1)/2)], a[NR], s/NR}'

Wartungsmodus auf Status 503 und Retry-After prüfen

$curl -s -o /dev/null -D - https://example.com/ | grep -iE '^(HTTP/|retry-after:)'

X-Robots-Tag-Header einer URL prüfen

$curl -s -o /dev/null -D - https://example.com/ | grep -i '^x-robots-tag'