Как удалить дубликаты линий из файла?

Question

Есть файл test.txt

1
2
3

Данный код возвращает дубликаты

awk '!a[$0]++' test.txt

Как удалить дубликаты из того же файла. Я пробовал вот так, но результирующий файл уже пустой

awk '!a[$0]++' test.txt > test.txt

Answer 1

Используйте промежуточный файл:

awk '!a[$0]++' test.txt >tmp && mv -f tmp test.txt

Ещё вот так можно:

sort -u -o test.txt test.txt