При парсинге на python3 через beautifulsoup ошибка 400 bad request что делать?
Парсил интернет магазин с авторизацией и через BeautifulSoup, но стабильно после 226 запроса каждый второй запрос выдает ошибку 400 bad request, что делать?
Ответы (1 шт):
Автор решения: grag
→ Ссылка
Если проблема в том, что сайт думает, якобы вы робот из-за того, что у вас юзер-агент типа python/requests, то попробуйте использовать пакет fake_useragent.
Установка: pip install fake-useragent.
Применение:
import requests
import fake_useragent
url = "https://ru.stackoverflow.com/"
# данная строчка возвращает рандомный юзер-агент
user_agent = fake_useragent.UserAgent().random
headers = dict(user_agent=user_agent)
response = requests.get(url, headers=headers)