EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Googlebot-Zugriffe im Access-Log auswerten

harmlos rootLogsdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
root@server
grep -i "googlebot" /var/www/vhosts/system/example.com/logs/access_ssl_log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Filtert alle Zeilen mit dem User-Agent Googlebot und listet die 20 meistgecrawlten Pfade. Damit lässt sich prüfen, ob Google wichtige Seiten erreicht oder sein Crawl-Budget an Parameter-URLs und Weiterleitungen verschwendet. Ersetzt man $7 durch $9, sieht man die Statuscodes, die der Bot erhält.

Hinweis: Der User-Agent ist leicht zu fälschen. Echte Googlebot-IPs lösen per Reverse-DNS (host <IP>) auf googlebot.com oder google.com auf.

Auch gesucht als

  • crawlt Google meine Seite
  • Googlebot Zugriffe anzeigen
  • welche Seiten besucht der Googlebot
  • Crawl Budget im Log prüfen

Verwandte Einzeiler

Alle aus Logs

Häufigste 404-Fehler im Access-Log finden

#awk '$9 == 404 {print $7}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20
harmlosLogs

Alle URLs aus einer sitemap.xml extrahieren

$curl -s https://example.com/sitemap.xml | grep -oP '(?<=<loc>)[^<]+' | sort -u
harmlosSEO-Checks

Echten Googlebot per Reverse-DNS verifizieren

$n=$(host 66.249.66.1 | awk '/pointer/ {print $NF}'); echo "PTR: $n"; host "$n"
harmlosSEO-Checks

Seite als Googlebot abrufen und mit normalem Abruf vergleichen

$for ua in 'Mozilla/5.0 (X11; Linux x86_64)' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'; do curl -s -o /dev/null -A "$ua" -w "%{http_code} %{size_download} Bytes $ua\n" https://example.com/; done
harmlosSEO-Checks

Access-Log auf einen Zeitraum eingrenzen

#awk -v von="09/Oct/2026:14:00" -v bis="09/Oct/2026:15:00" 'substr($4, 2) >= von && substr($4, 2) < bis' /var/www/vhosts/system/example.com/logs/access_ssl_log
harmlosLogs

Alle Anfragen einer IP-Adresse im Access-Log anzeigen

#awk -v ip="203.0.113.10" '$1 == ip' /var/www/vhosts/system/example.com/logs/access_ssl_log | tail -50
harmlosLogs

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.