Как удалить все дубликаты строк в txt файле?
Есть файл в котором 570.000 строк и некоторые из них дублируются.
Мне необходимо удалить все дубликаты и оставить 1 вариант строки,
а так же вывести количество удалённых строк в консоль.
Как это можно реализовать с версией Python 3.8.5 ?
Ответы (1 шт):
Автор решения: Іван Шнір
→ Ссылка
Вот готовый код, просто поменяйте под себя его.
name_file = "Ваше имя файла.txt"
f = open(name_file,'r').read()
total = f.split('\n')
f = f.split('\n')
f = set(f)
print(f)
print(len(total) - len(f),'всего удалённых строк')