Python Selenium работает некорректно

Question

Хочу спарсить, например, название скинов. Вроде ничего сложного, но парсер работает не корректно. Я ожидаю увидеть:

Frog Boots
Green Hoodie
Desert Jacket
Forest Camo Balaclava

и т.д

А в итоге получается:

Frog Boots

Desert Jacket

Green Hoodie

Каждый четный цикл он находит пустую строку и я не могу понять почему, тк в браузере всё выглядит корректно. Почему так происходит и как это исправить?

#!/usr/bin/env python3
#-*- coding: utf-8 -*-

import time
from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
# options.add_argument('--headless')
driver = webdriver.Chrome(executable_path='E:\\steam_pars\\chromedriver.exe', options=options)


data_set = {'Rust': ['https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1880690122695606818',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1886326869580112278',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898746285142497202',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898747643497820321',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898749548430017393',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898750816130784384'],
            'Counter-Strike: Global Offensive': ['https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15939075381',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15939073996',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15899480530',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15899241823',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15893094243',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15849999642']}


def search_skin_names():
    skins_name_dict = {}
    for key, urls in data_set.items():
        skins_name_dict[key] = []
        for url_skin in urls:
            driver.execute_script("return document.body.innerHTML;")
            driver.get(url_skin)
            time.sleep(3)
            content = driver.find_element_by_id('iteminfo1_item_name').text
            print(content)
            time.sleep(2)
    driver.close()
    driver.quit()


search_skin_names()

Answer 1

Скорее всего это самый худший вариант решения, но он работает. Сделал просто закрытие браузера сразу после того как он проверил один из айтемов, вот итог:

#!/usr/bin/env python3
#-*- coding: utf-8 -*-

import time
from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
# options.add_argument('--headless')


data_set = {'Rust': ['https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1880690122695606818',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1886326869580112278',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898746285142497202',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898747643497820321',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898749548430017393',
                     'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#252490_2_1898750816130784384'],
            'Counter-Strike: Global Offensive': ['https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15939075381',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15939073996',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15899480530',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15899241823',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15893094243',
                                                 'https://steamcommunity.com/id/urhellagaymyfriend/inventory/#730_2_15849999642']}


def search_skin_names():
    skins_name_dict = {}
    for key, urls in data_set.items():
        #print(key)
        #print(urls)
        skins_name_dict[key] = []
        for url_skin in urls:
            driver = webdriver.Chrome(executable_path='chromedriver.exe', options=options)
            #driver.execute_script("return document.body.innerHTML;")
            driver.get(url_skin)
            time.sleep(3)
            content = driver.find_element_by_id('iteminfo1_item_name').text
            print(content)
            driver.close() # Изменения тут
            driver.quit() # И тут


search_skin_names()

В итоге мы получаем:

Frog Boots
Green Hoodie
Desert Jacket
Forest Camo Balaclava
Green Hoodie
Forest Camo Pants
P2000 | Городская опасность
MAG-7 | Пыльник
P2000 | Городская опасность
XM1014 | Оксидное пламя
Запечатанный граффити | Сдачи не надо (Лесной зелёный)
Sawed-Off | Моррис

БЛОГ НА HUSL

Python Selenium работает некорректно

Ответы (1 шт):