Не работает scheduler в AirFlow 1.10

Всем привет.

Пробую запускать AirFlow с помощью docker-compose на локальной машине:

version: '2'

services:
  postgresql:
    image: bitnami/postgresql:10
    volumes:
      - postgresql_data:/bitnami/postgresql
    environment:
      - POSTGRESQL_DATABASE=bitnami_airflow
      - POSTGRESQL_USERNAME=bn_airflow
      - POSTGRESQL_PASSWORD=bitnami1
      - ALLOW_EMPTY_PASSWORD=yes
  redis:
    image: bitnami/redis:5.0
    volumes:
      - redis_data:/bitnami
    environment:
      - ALLOW_EMPTY_PASSWORD=yes
  airflow-scheduler:
    image: bitnami/airflow-scheduler:1
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_LOAD_EXAMPLES=no
    volumes:
      - airflow_scheduler_data:/bitnami
      - ./airflow/dags:/opt/bitnami/airflow/dags
      - ./airflow/plugins:/opt/bitnami/airflow/plugins
  airflow-worker:
    image: bitnami/airflow-worker:1
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_LOAD_EXAMPLES=no
    volumes:
      - airflow_worker_data:/bitnami
      - ./airflow/dags:/opt/bitnami/airflow/dags
      - ./airflow/plugins:/opt/bitnami/airflow/plugins
  airflow:
    image: bitnami/airflow:1
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_USERNAME=user
      - AIRFLOW_PASSWORD=password
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_LOAD_EXAMPLES=yes
    ports:
      - '8080:8080'
    volumes:
      - ./airflow/dags:/opt/bitnami/airflow/dags
      - ./airflow/plugins:/opt/bitnami/airflow/plugins

volumes:
  airflow_scheduler_data:
    driver: local
  airflow_worker_data:
    driver: local
  airflow_data:
    driver: local
  postgresql_data:
    driver: local
  redis_data:
    driver: local

Когда авторизируюсь в UI интерфейсе, вижу следующую надпись:

"The scheduler does not appear to be running.
The DAGs list may not update, and new tasks will not be scheduled."

Почему?

И еще другая проблема - проблема с обновлением списка ДАГов. Пока в docker-compose не поменяю туда и обработно AIRFLOW_LOAD_EXAMPLES=yes (или no) и не перезапущу docker-compose я не вижу обновленный список DAGов, хотя в инструкции в докер-компоус указан volume (


Ответы (1 шт):

Автор решения: Viktor Andriichuk

Я взял давноиспользующийся для версии AirFlow 1 docker-compose: https://github.com/puckel/docker-airflow/blob/master/README.md и все заработало.

→ Ссылка