Вопрос по Python и threading
Код, скрипт парсера, парсит оочень большое колличество ссылок, и выполняется оочень долго, минут 40. Я решил залезть в многопоточность, чтоб все это работало побыстрее,но так я ничего и не понял. Помогите, как ускорить данный код с помощью библиотеки threading. Может нужно первую функцию запускать, и что бы вторая функция не ждала полного завершения работы первой. Ну или как, объясните пожалуйста. Ниже код, но он выдает ошибку (
from bs4 import BeautifulSoup
import requests
import csv
import threading
urls_list = []
def pars_url(url):
html = requests.get(url)
soup = BeautifulSoup(html.text, 'lxml')
urls = soup.select('loc')
for url in urls:
url_list = url.text.split('/')
if len(url_list) > 5:
urls_list.append(url.text)
else:
pass
t = threading.Thread(target=pars_url, name='Thread1', args=('https://xn----8sbatmpykxep.xn--p1ai/sitemap.xml'))
def all_pars(list):
for url in list:
html = requests.get(url)
soup = BeautifulSoup(html.text, 'lxml')
artikul = soup.select('#product_model')
application = soup.select('#tab-methoduse > p')
contraindications = soup.select('#tab-contraindications > p')
t.start()
all_pars(urls_list)
Скинте ссылку на обучение или разъяснение для чайников по threading