Блокировка (?) парсинга
Суть проблемы: Создал простейший парсер, заимствующий у Кинопоиска названия фильмов с определённой страницы. Первые 5 запросов успешно обрабатываются сайтом и я получаю желанные названия фильмов, но после пятого, код выводит пустой список. Скорее всего сайт блокирует подобные запросы и не даёт спарсить информацию (по-моим предположениям появляется капча, но это неточно). Если заходить на сайт из браузера, то всё работает, также пробовал пропинговать - работает. Из-за чего возникает проблемы? Посоветуйте как её решить? P.S. Если что-то не так написал - извиняйте
headers = {'accept': accept,'user-agent': user-agent}
base_url = url
def parse (base_url, headers):
session = requests.Session()
request = session.get(base_url, headers = headers)
if request.status_code == 200:
soup = bs(request.content, 'html.parser')
divs = soup.find_all('div', attrs = {'class': foo})
for div in divs:
name = divs.find('p', attrs = {'p': bar}).text
print(name)
else:
print('ERROR')
parse(base_url, headers)