Удалить дубликаты с повторением в двух столбцах

Question

У меня есть большой CSV файл такого формата:

head1,head2,head3,head4
lat-1,lon-2,valdo,14
lat-3,lon-4,enricue,19
lat-5,lon-6,valdo,14
lat-7,lon-8,sent,17

Как мне удалить все строки, в которых столбцы 3 и 4 повторяются, а 1 и 2 разные?

Answer 1

Воспользуйтесь модулем Pandas:

import pandas as pd

df = pd.read_csv(filename)
(df
 .drop_duplicates(subset=[“head3”])
 .to_csv(new_filename, index=False)