EN

↑ ↓ auswählen, Enter öffnen, Esc schließen

Doppelte Zeilen entfernen, ohne die Reihenfolge zu ändern

harmlosTextverarbeitungalle
Werte anpassen, der Befehl aktualisiert sich live
user@server
awk '!seen[$0]++' liste.txt

Merkt sich jede Zeile in einem Array und gibt sie nur beim ersten Auftreten aus. Anders als sort -u bleibt die ursprüngliche Reihenfolge erhalten, was bei Konfigurationsdateien, Hostlisten oder authorized_keys wichtig ist. Das Ergebnis erscheint auf der Konsole, die Datei selbst bleibt unverändert.

Hinweis: Alle eindeutigen Zeilen werden im Speicher gehalten, bei sehr großen Dateien mit Millionen verschiedener Zeilen braucht das entsprechend RAM.

Auch gesucht als

  • Duplikate entfernen ohne sort
  • doppelte Zeilen löschen Reihenfolge behalten
  • Liste bereinigen

Verwandte Einzeiler

Alle aus Textverarbeitung

CSV-Zeilen nach Wert in einer Spalte filtern

$awk -F';' -v c=3 -v w='aktiv' 'NR == 1 || $c == w' export.csv
harmlosTextverarbeitung

Durchschnitt, Minimum und Maximum einer Spalte berechnen

$awk -v c=2 'NR == 1 {min = max = $c} {s += $c; if ($c < min) min = $c; if ($c > max) max = $c} END {if (NR) printf "n=%d avg=%.2f min=%s max=%s\n", NR, s/NR, min, max}' messwerte.txt
harmlosTextverarbeitung

Zahlen in einer Spalte mit awk summieren

$awk -v c=10 '{s += $c} END {print s}' /var/www/vhosts/system/example.com/logs/access_ssl_log
harmlosTextverarbeitung

Zeilen ausgeben, deren Spaltenwert über einer Grenze liegt

$awk -v c=10 -v min=5000000 '$c + 0 > min + 0' /var/www/vhosts/system/example.com/logs/access_ssl_log
harmlosTextverarbeitung

Access-Log auf einen Zeitraum eingrenzen

#awk -v von="09/Oct/2026:14:00" -v bis="09/Oct/2026:15:00" 'substr($4, 2) >= von && substr($4, 2) < bis' /var/www/vhosts/system/example.com/logs/access_ssl_log
harmlosLogs

Alle Anfragen einer IP-Adresse im Access-Log anzeigen

#awk -v ip="203.0.113.10" '$1 == ip' /var/www/vhosts/system/example.com/logs/access_ssl_log | tail -50
harmlosLogs

Erst lesen, dann ausführen.

Die Befehle auf myline.de greifen direkt in Server, Dateien und Datenbanken ein. Ein falscher Pfad oder Platzhalter kann Daten unwiderruflich löschen oder einen Server unerreichbar machen.

  • Alle Befehle werden ohne Gewähr bereitgestellt und sind nicht auf jedem System getestet.
  • Vor dem Ausführen verstehen, was ein Befehl tut, und jeden Platzhalter prüfen.
  • Vorher ein Backup anlegen und möglichst zuerst auf einem Testsystem ausprobieren.
  • Die Ausführung erfolgt auf eigene Verantwortung. Eine Haftung für Schäden ist ausgeschlossen, soweit gesetzlich zulässig.