Scrapyd настройка запуска пауков с последующей отправкой e-mail
Всем привет!
Прошу помощи/совета как настроить циклическую работу парсинга сайтов с генерацией одного отчета. Используется фреймворк Scrapy, на данный момент парсятся 4 источника, в будущем их количество будет увеличиваться. Пауки запускаются с одинаковой периодичностью.
В Scrapy можно воспользоваться pipeline-методом close_spider, который вызывается после завершения работы паука, но в данном варианте будут формироваться отчеты для каждого отдельного паука.
Возможно ли каким-нибудь образом настроить один job в Scrapyd, который будет запускать несколько пауков и после них .py скрипт по формированию и отправке одного отчета?
В данный момент используется скрипт с последовательностью запуска на cron`е (без Scrapyd):
from project.reports import send_report
import os
def start():
os.system("scrapy crawl spider1")
os.system("scrapy crawl spider2")
os.system("scrapy crawl spider3")
os.system("scrapy crawl spider4")
send_report()
start()
Проект крутится на докерах с лютыми костылями. Хочу навести порядок, но что-то подсказывает, что одного Scrapyd будет недостаточно.