airflow - CeleryExecutor と連携するように Airflow を構成する

Question

次のように CeleryExecutor を使用するように Airbnb AirFlow を構成しようとしています。

executerairflow.cfg の を からSequentialExecutorに変更しましたCeleryExecutor。

# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor

しかし、次のエラーが表示されます。

airflow.configuration.AirflowConfigException: error: cannot use sqlite with the CeleryExecutor

sql_alchemy_connは次のように構成されていることに注意してください。

sql_alchemy_conn = sqlite:////root/airflow/airflow.db

Airflow の GIT を見てみました ( https://github.com/airbnb/airflow/blob/master/airflow/configuration.py )

次のコードがこの例外をスローすることがわかりました。

def _validate(self):
        if (
                self.get("core", "executor") != 'SequentialExecutor' and
                "sqlite" in self.get('core', 'sql_alchemy_conn')):
            raise AirflowConfigException("error: cannot use sqlite with the {}".
                format(self.get('core', 'executor')))

このvalidateメソッドから、 に を含めることはsql_alchemy_connできないようsqliteです。

CeleryExecutorsqllite なしでを構成する方法を知っていますか? 必要に応じて、CeleryExecuter を操作するために rabitMQ をダウンロードしたことに注意してください。