EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Häufigste User-Agents und Bots im Access-Log

harmlos rootLogsdebian, ubuntu
Werte anpassen, der Befehl aktualisiert sich live
root@server
awk -F'"' '{print $6}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20

Trennt jede Logzeile an den Anführungszeichen und gibt das sechste Feld aus, im Combined-Format ist das der User-Agent. Die Liste zeigt sofort, ob Crawler wie AhrefsBot, SemrushBot oder GPTBot einen großen Teil der Zugriffe ausmachen. Daraus lassen sich gezielte Sperren in robots.txt oder im Webserver ableiten.

Auch gesucht als

  • welche Bots crawlen meine Seite
  • User Agents auswerten
  • aggressive Crawler finden
  • welcher Bot verursacht Last

Verwandte Einzeiler

Alle aus Logs

Access-Log auf einen Zeitraum eingrenzen

#awk -v von="09/Oct/2026:14:00" -v bis="09/Oct/2026:15:00" 'substr($4, 2) >= von && substr($4, 2) < bis' /var/www/vhosts/system/example.com/logs/access_ssl_log
harmlosLogs

Alle Anfragen einer IP-Adresse im Access-Log anzeigen

#awk -v ip="203.0.113.10" '$1 == ip' /var/www/vhosts/system/example.com/logs/access_ssl_log | tail -50
harmlosLogs

Anfragen pro Minute im Access-Log zählen

#awk '{print substr($4, 2, 17)}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20
harmlosLogs

Häufigste 404-Fehler im Access-Log finden

#awk '$9 == 404 {print $7}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20
harmlosLogs

Häufigste IP-Adressen im Access-Log ermitteln

#awk '{print $1}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn | head -20
harmlosLogs

HTTP-Statuscodes im Access-Log zählen

#awk '{print $9}' /var/www/vhosts/system/example.com/logs/access_ssl_log | sort | uniq -c | sort -rn
harmlosLogs

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.