#googlebot
3 Einzeiler mit diesem Stichwort.
Alle Einzeiler mit Tag googlebot
Echten Googlebot per Reverse-DNS verifizieren
$n=$(host 66.249.66.1 | awk '/pointer/ {print $NF}'); echo "PTR: $n"; host "$n"
Googlebot-Zugriffe im Access-Log auswerten
#grep -i "googlebot" /var/www/vhosts/system/example.com/logs/access_ssl_log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Seite als Googlebot abrufen und mit normalem Abruf vergleichen
$for ua in 'Mozilla/5.0 (X11; Linux x86_64)' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'; do curl -s -o /dev/null -A "$ua" -w "%{http_code} %{size_download} Bytes $ua\n" https://example.com/; done