Selenium перестаёт работать со временем (chromedriver)
Запускаю небольшой парсер, у которого задача парсить сайт с JS и постить информацию в группе ВК. Все работает буквально 4-5 часов, после появляется ошибка. Когда выполнение доходит до строк:
driver = webdriver.Chrome(chrome_options=options)
driver.get(..)
requiredHtml = driver.page_source
Error:
Message: timeout
(Session info: headless chrome=79.0.3945.79)
И приходиться делать перезагрузку сервера, только после этого все начинает работать. В htop, ps-a, никаких процессов связанных с хромом/скриптом нет, ОЗУ не течет. В чем может быть проблема? Я уже не знаю что и делать.
Вот фулл:
def main():
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument("--blink-settings=imagesEnabled=false")
options.add_argument("--no-sandbox")
try:
driver = webdriver.Chrome(chrome_options=options)
print("Getting url... (selenium driver)")
driver.get(
'https://gisanddata.maps.arcgis.com/apps/opsdashboard/index.html%20%20%20#/bda7594740fd40299423467b48e9ecf6')
print("Url getting, sleep 15 seconds...")
time.sleep(15)
print("Data getted true!")
requiredHtml = driver.page_source
soup = BeautifulSoup(requiredHtml, 'html.parser')
# Тут я получаю данные из soup'a и постю в группе
print("Try create info post...")
create_info_post(data)
except Exception as e:
print('-----------ERROR-----------')
print(e)
traceback.print_exc()
driver.quit()
print('-----------/ERROR-----------')
print("Quit from driver")
driver.quit()
exit("Finished...")
time.sleep(3)
if __name__ == '__main__':
print('Is the world still alive?')
main()