EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Echten Googlebot per Reverse-DNS verifizieren

harmlosSEO-Checksdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
user@server
n=$(host 66.249.66.1 | awk '/pointer/ {print $NF}'); echo "PTR: $n"; host "$n"

Löst die IP zuerst rückwärts zu einem Hostnamen auf und diesen dann wieder vorwärts zur IP. Ein echter Googlebot hat einen Namen unter googlebot.com oder google.com, und die Vorwärtsauflösung liefert wieder genau die geprüfte IP. Viele Scraper geben sich nur per User-Agent als Googlebot aus.

Hinweis: host steckt im Paket bind9-host und fehlt auf Minimalsystemen. Die Zugriffe nach User-Agent zählt der Eintrag zu Googlebot-Zugriffen in der Kategorie Logs.

Auch gesucht als

  • ist das wirklich Googlebot
  • falschen Googlebot erkennen
  • Googlebot IP prüfen
  • Fake Crawler im Log

Verwandte Einzeiler

Alle aus SEO-Checks

Seite als Googlebot abrufen und mit normalem Abruf vergleichen

$for ua in 'Mozilla/5.0 (X11; Linux x86_64)' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'; do curl -s -o /dev/null -A "$ua" -w "%{http_code} %{size_download} Bytes $ua\n" https://example.com/; done
harmlosSEO-Checks

Googlebot-Zugriffe im Access-Log auswerten

#grep -i "googlebot" /var/www/vhosts/system/example.com/logs/access_ssl_log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
harmlosLogs

Alle URLs aus einem Sitemap-Index sammeln

$curl -s https://example.com/sitemap_index.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -n1 curl -s | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Alle URLs einer sitemap.xml parallel auf Statuscode prüfen

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | xargs -P 8 -I{} curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' {} | grep -v '^200 ' | sort
harmlosSEO-Checks

Anzahl der Weiterleitungen und Endziel einer URL anzeigen

$curl -sL -o /dev/null -w 'Weiterleitungen: %{num_redirects}\nZiel: %{url_effective}\nStatus: %{http_code}\n' https://example.com/
harmlosSEO-Checks

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.