Не могу запарсить сайт

Question

Не могу спарсить весь текст с нескольких сайтов (на них надо заходить под своим аккаунтом, имя, пароль и доступ к той информации у меня есть)

Ссылки все похожи друг на друга (пример: https://author.today/reader/60079/477128)

Вот мой код:

import requests
from bs4 import BeautifulSoup

payload = {
    'inUserName': 'stNIKOLAS',
    'inUserPass': '---------'
}
with open('links.txt', "r") as lin:
    links = lin.read().split('\n')

book = open("book.txt", "a", encoding='utf8')
with requests.Session() as s:
    p = s.post('https://author.today/', data=payload)
    for i in links:
        site = requests.get(i)
        text = BeautifulSoup(site.text, 'html.parser').get_text()
        book.write(text)

Мне выдаёт страницу с ошибкой:

Answer 1

Вы передаёте неправильные данные при авторизации. Вам следует использовать Login и Password для передачи имени пользователя и пароля соответственно.

Также следует посылать форму на https://author.today/account/login.

Пример:

import requests


LOGIN = '...'
PASSWORD = '...'


payload = {
    'Login': LOGIN,
    'Password': PASSWORD,
}

with requests.Session() as s:
    # Авторизация
    s.post('https://author.today/account/login', data=payload)

    # Получение страницы
    html = s.get('https://author.today/reader/60079/477128').text

print(html)

P.S.:
Посмотреть запрос, который отправляется на сервер при авторизации, можно в инструментах разработчика: F12 -> Network

БЛОГ НА HUSL

Не могу запарсить сайт

Ответы (1 шт):