Парсинг сайта. Авторизация и дальнейшая работа с куки

Question

Продолжаю ковырять сайт и изучать бииблеотеки Python. Есть сайт. Мне необходимо спарсить некоторые таблицы в нем. Проблема в том, что на сайте нужна авторизация. У меня получилось написать код для решения этой проблемы. Однако при попытке перейти внутрь сайта и спарсить скажем код со страницы выдается код со странички с авторизацией. Помогите решить данную проблему.

Код который у меня сейчас есть:

import requests as rqs
from bs4 import BeautifulSoup as BS
import urllib3
import pandas as pd
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

#Авторизация на сайте

headers = {
    'authority': 'onlinecontract.ru',
    'cache-control': 'max-age=0',
    'sec-ch-ua': '"Google Chrome";v="89", "Chromium";v="89", ";Not A Brand";v="99"',
    'sec-ch-ua-mobile': '?0',
    'upgrade-insecure-requests': '1',
    'origin': 'https://onlinecontract.ru',
    'content-type': 'application/x-www-form-urlencoded',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'sec-fetch-site': 'same-origin',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-user': '?1',
    'sec-fetch-dest': 'document',
    'referer': 'https://onlinecontract.ru/otp/signin',
    'accept-language': 'ru,en-US;q=0.9,en;q=0.8',
    'cookie': 'lastEvent_16984=%7B%22evn%22%3A5464%7D; tmr_lvid=e13b8ad4b794abc5f65e76aa8b0cdb7b; tmr_lvidTS=1618855683566; _ym_uid=1618855684420902237; _ym_d=1618855684; _ga=GA1.2.846082366.1618855684; _gid=GA1.2.1416083211.1618855684; otpClient=visit+otp; notification_supplier_profile_16984=2; _ym_isad=1; _sp_ses.53a1=*; tmr_detect=1%7C1618999187131; _gat_gtag_UA_49471738_1=1; _ym_visorc=w; _sp_id.53a1=7b14a34f-100b-497f-8baf-afa51ee7756f.1618855684.8.1618999219.1618946697.627abf84-84a3-4eca-9d76-337bbad98206; tmr_reqNum=93',
}

data = {
  'Login': 'login',
  'Pass': 'password',
  'go': '',
  'profile_page': '',
  'options': ''
}

url = 'https://onlinecontract.ru/otp/index.phtml'

s = rqs.session()

response = rqs.post(url, headers=headers, data=data, verify=False)

#ПАРСИНГ КОДА СТРАНИЦЫ

link = 'https://onlinecontract.ru/otp/index.phtml?sid=d340fb5aacd93ddfdcd04b1e14ddd0638649e74e9ade6485809e451c19d4d6629403ed5f9d8d6ddaddd2'# Код страницы, который нужно спрасить

r = s.get(link, headers=headers, verify=False).text
soup = BS(r, 'lxml')
print(soup.prettify())

БЛОГ НА HUSL

Парсинг сайта. Авторизация и дальнейшая работа с куки

Ответы (0 шт):