EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Seite als Googlebot abrufen und mit normalem Abruf vergleichen

harmlosSEO-Checksdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
user@server
for ua in 'Mozilla/5.0 (X11; Linux x86_64)' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'; do curl -s -o /dev/null -A "$ua" -w "%{http_code}  %{size_download} Bytes  $ua\n" https://example.com/; done

Stellt zwei Abrufe gegenüber, die sich nur im User-Agent unterscheiden. Ein anderer Statuscode oder eine stark abweichende Größe deutet auf Bot-Sperren (WAF, Fail2ban, Sicherheits-Plugins), auf gehackte Seiten mit Spam nur für Google oder auf fehlerhafte Caching-Regeln hin.

Hinweis: Kleine Größenunterschiede durch Nonces oder Zeitstempel sind normal. Den Inhalt im Detail vergleicht diff <(curl -s URL) <(curl -s -A 'Googlebot' URL).

Auch gesucht als

  • Seite als Googlebot aufrufen
  • bekommt Google eine andere Seite
  • Cloaking prüfen
  • Googlebot wird blockiert

Verwandte Einzeiler

Alle aus SEO-Checks

Alle URLs aus einem Sitemap-Index sammeln

$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs einer sitemap.xml parallel auf Statuscode prüfen

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort
harmlosSEO-Checks

Anzahl der Weiterleitungen und Endziel einer URL anzeigen

$curl -sL -o /dev/null -w 'Weiterleitungen: %{num_redirects}\nZiel: %{url_effective}\nStatus: %{http_code}\n' https://example.com/
harmlosSEO-Checks

Bilder ohne alt-Attribut auf einer Seite finden

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<img[^>]*>' | grep -viE '\balt='
harmlosSEO-Checks

Canonical-Tag einer Seite per curl auslesen

$curl -s https://example.com/ | tr '\n' ' ' | grep -oiE '<link[^>]*canonical[^>]*>'
harmlosSEO-Checks

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.