Не могу получить данные со страницы сайта, для последующего парсинга
Хочу распарсить данные о товарах с уценкой https://galaxystore.ru/discount/. Сразу появился затык ещё на стадии получения html страницы. Использую по классике библиотеку request:
url = 'https://galaxystore.ru/discount/'
response = requests.get(url).text
print(response)
При отправке запроса получаю html в таком формате http://joxi.ru/Drl3kEkHyzodXA В целом при подстановке любых заголовков получаю ответ в таком зашифрованном виде.
Что пробовал:
- urllib
- Насколько понял, нужный контент подгружается ajax'ом, так что с помощью инструментов разработчика нашёл нужный запрос, но обратившись к нему получил то же самое зашифрованное содержимое
- Менял User agent
- Пробовал с помощью
withзаписать ответ, а потом открывать для дальнейшего парсинга - На просторах интеренета люди советуют selenium. Я его конечно попробовал и у меня получилось добраться до нужного содержимого, но это инструмент для тестирования, довольно медленный и под мою задачу не подходит.
На данный момент я ещё в процессе обучения и это будет мой первый проект связанный с парсингом, поэтому хочу разобраться, что же за зверь попался.