Парсинг сайта, парсинг после нажатия кнопки начинается с самого верху
Пишу парсер для PROZORRO. После нажатия на кнопку, парсер начинает собирать данные с самого верха, и из-за этого много дубликатов. Как это исправить ?
```python
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import csv
import time
from itertools import groupby
import os
links_list = []
FILE = 'links.txt'
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get('https://prozorro.gov.ua/tender/search?query=освіта&value=10000')
def save_file(items, path):
with open(path, 'w', newline='') as file:
writer = csv.writer(file, delimiter=';')
writer.writerow(['ссылка'])
for item in items:
writer.writerow([item['link']])
try:
def new_links():
links = driver.find_elements_by_xpath("//div[@class='items-list']//a")
for i in links:
print(i.get_attribute('href'))
b = i.get_attribute('href')
a = ({
'link':b
})
links_list.append(a)
print(len(links_list))
new_start()
def new_start():
btn = driver.find_element_by_class_name('show-more')
btn.click()
new_links()
new_start()
except Exception as e:
x = links_list
new_x = [el for el, _ in groupby(x)]
print(f'Чистых ссылок { len(new_x)}')
print(f'Получено {len(links_list)} ссылок')
save_file(new_x, FILE)
os.startfile(FILE)