Как проверить получен ли правильный html с помощью selenium python

Question

У меня есть текстовый файл, в котором храниться список URL адресов, html которых мне нужно получить. Проблема состоит в том, что неизвестно был ли получен доступ к странице и собственно верный ли html. Есть какой то способ как узнать есть ли доступ к странице?

Вот мой код:

from selenium import webdriver


op = webdriver.ChromeOptions()
op.add_argument('headless')
browser = webdriver.Chrome(options=op)
with open('urls.txt') as file:
    for url in file:
        browser.get(url)
        html = browser.page_source
browser.close()

Answer 1

Если под "правильным" понимать ответ 200 (ОК), то можно проверить ответный код модулем requests:

import requests
try: 
    response = requests.head(url)
    if response.status_code == 200:
        # do your stuff
except requests.ConnectionError:
    print("url not ok")

Впрочем, в этот код легко можно добавить и любые другие коды.

БЛОГ НА HUSL

Как проверить получен ли правильный html с помощью selenium python

Ответы (1 шт):