Парсинг сайта, нажатие на кнопку
Нужно спарсить данные с сайта 'https://prozorro.gov.ua/tender/search?query=освіта' но там можно спарсить только 10 строк, потом что бы продолжать парсинг надо нажать на кнопку. Как мне лучше всего это сделать? Вот мой код
import requests
from bs4 import BeautifulSoup
URL = 'https://prozorro.gov.ua/tender/search?query=освіта'
HEADERS = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',
'accept':'*/*'}
HOST = 'https://prozorro.gov.ua'
from selenium import webdriver
def get_html(url,params = None):
r = requests.get(url,headers = HEADERS,params = params)
return r
def get_content(html):
soup = BeautifulSoup(html,'html.parser')
items = soup.find_all('div',class_ = 'items-list')
links = []
for item in items:
links.append({
'link': HOST + item.find('a',class_ = 'items-list--header').get('href')
})
print(len(links))
print(links)
def parser():
html = get_html(URL)
if html.status_code == 200:
get_content(html.text)
else:
print('Ошибка')
parser()