#user-agent
2 Einzeiler mit diesem Stichwort.
Alle Einzeiler mit Tag user-agent
Häufigste User-Agents und Bots im Access-Log
#awk -F'"' '{print $6}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20
Seite als Googlebot abrufen und mit normalem Abruf vergleichen
$for ua in 'Mozilla/5.0 (X11; Linux x86_64)' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'; do curl -s -o /dev/null -A "$ua" -w "%{http_code} %{size_download} Bytes $ua\n" https://example.com/; done