Как реализовать многопоточность для python?

Question

Есть скрипт по парсингу сайтов, сам скрипт работает хорошо, но медленно. Я рассматривал вариант пустить скрипт в несколько потоков, но ничего не получилось. Использовал threading. Есть нюанс - сайты обрабатываются разное время. Помогите разобраться как прикрутить многопоточность в моём случае. python3

Пример скрипта

def pars(url):
    parsing
for i in range(10000):
    url = urls[i]
    pars(url)

Answer 1

можно так с использованием multiprocessing

import multiprocessing as mp

def pars(arg):
    print(arg)
  
def main():
    links = list(range(1, 10000))
    with mp.Pool(mp.cpu_count()) as pool:
        pool.map(pars, links)
  
if __name__ == '__main__':
    main()

БЛОГ НА HUSL

Как реализовать многопоточность для python?

Ответы (1 шт):