Не могу заставить работать две задачи в celery параллельно
У меня есть парсер данных с сайта hh.ru но для полного заполнения мне нужно запустить две задачи, но нужно чтобы они работали параллельно. Я читал что celery и так разные задачи выполняет параллельно но у меня почему-то начинает выполняться только первая
Файл celery.py
from __future__ import absolute_import, unicode_literals
import os
from celery.schedules import crontab
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'hh_ru_django.settings')
app = Celery('hh_ru_django')
# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings', namespace="CELERY")
app.conf.timezone = 'Europe/Moscow'
app.conf.beat_schedule = {
'parser_hh': {
'task': 'ads.tasks.scrape_ads',
'schedule': crontab(hour='*/1'),
'args': (),
},
'contacts_parser': {
'task': 'ads.tasks.contacts_collector',
'schedule': crontab(hour = '*/24'),
'args': ()
}
}
app.autodiscover_tasks()
файл tasks.py
from __future__ import absolute_import, unicode_literals
from .scrapers import parser_hh, scrape_contacts
from celery import shared_task
url = "https://rostov.hh.ru/search/vacancy?clusters=true&enable_snippets=true&only_with_salary=true&order_by=publication_time&search_period=1&L_save_area=true&area=113&from=cluster_area&showClusters=true"
@shared_task
def scrape_ads():
parser_hh(url)
return
@shared_task
def contacts_collector():
scrape_contacts()
return