Не получается спарсить из поп-ап
Сайт: http://oto-register.autoins.ru/oto/index.xhtml Нужно спарсить: категории, чтобы к ним прийти — жмем на галочку.
Зашел через Selenium + soap, но почему-то не находит элементы
import os
import pandas as pd
from selenium import webdriver
import time
from bs4 import BeautifulSoup
chromedriver="chromedriver"
browser = webdriver.Chrome(chromedriver)
browser.get("http://oto-register.autoins.ru/oto/index.xhtml")
pages = browser.find_elements_by_tag_name("a.ui-commandlink")
pg_list = []
for page in pages:
try:
pg_list.append(int(page.text))
except:
continue
urls=[]
credits=[]
table = pd.DataFrame()
html = browser.page_source
soup = BeautifulSoup(html, "html.parser")
elems = browser.find_elements_by_tag_name("td.footable-first-visible a")
for el in elems:
a = el.get_attribute("href")
url ={
"href":a
}
urls.append(url)
for j in urls:
browser.get(j["href"])
bbs = str(browser.find_element_by_tag_name("span.green-text"))
print(bbs)
Ответы (1 шт):
Автор решения: DANILA
→ Ссылка
Чтобы находило, сделал такую конструкцию и всё заработало
for element in browser.find_elements_by_tag_name('tr:nth-child(1) .green-text'):
simple_list.append([element.text])