Error 403 Google Scholar requests

Question

При попытке спарсить строку с Google Scholar выдает ошибку 403 (сервер запрос понял, но отвечать не собирается). headers вставил. Вчера в Python-shell все работало, а сегодня в файле уже нет. Помогите.

З.Ы.: Функция принимает сессию (и даже это не помогло) и елемент из списка статей (название статьи), делает запрос, а из полученых данных с помощью BeautifulSoup извлекает нужный текст.

def get_refs_from_ggl_scholar(session, prepared_element):


        url_scholar = 'https://scholar.google.com//scholar?q=%s:scholar.google.com/' %prepared_element
        params = {
                    'output':'cite',
                    'script':'{p}', 'hl':'en'}
        headers = {
                   'authority': 'scholar.google.com',\
                   'scheme':'https', 'pragma':'no-cache',\
                   'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}

        resp = session.get(url_scholar, params=params)#, headers = headers)
        if (resp.status_code != 200):
            prepared_element = "ERROR %d >>> %s" %(resp.status_code, prepared_element)
            return prepared_element
        soup = BeautifulSoup(resp.text, 'html.parser')
        text_in_vanc_format = soup.find('div',{'class':'gs_citr'}).get_text()
        text_in_vanc_format = text_in_vanc_format[text_in_vanc_format.find('Vancouver') + \
                              len('Vancouver'): text_in_vanc_format.find('BibTex')]
        return text_in_vanc_format

Answer 1

Рубрика "Мне помогло":

#First make request to url = 'https://scholar.google.com/' in main part:
resp = session.get(url)

#At this moment our session has some info within itself, and can be passed to func as param:
get_refs_from_ggl_scholar(session, your_element)

БЛОГ НА HUSL

Error 403 Google Scholar requests

Ответы (1 шт):

Рубрика "Мне помогло":