Распределение закачки на несколько процессов

Есть requests.Session, который в цикле с помощью .get() скачивает данные с последовательных страниц сайта site.com/data/1, ..., site.com/data/N и сохраняет их в множестве data = set(), т.е. порядок сохранения не важен. Данные следующей страницы не зависят от предыдущей. Можно ли как-то ускорить это дело, распараллелив этот цикл? Например, 1 процесс качает и сохраняет первые N / {кол-во процессов} страниц, второй - вторые и т.д.. Можно даже не синхронизировать data, а скачивать в свои data_1, ..., data_N, а уже после закачки их объединить data_1 | ... | data_N.


Ответы (0 шт):