ルイージのタスクごとの再試行ポリシーの構成に問題があります。グローバル luigi.cfg ファイルを次のように構成しました。
[scheduler]
retry-delay: 1
retry_count: 5
[worker]
keep_alive: true
wait_interval: 3
さらに、ルイージの設定マニュアルには、タスクを次のように記述すると記載されています。
class SomeTask(luigi.Task):
retry_count = 3
luigi.cfg で指定された luigi retry_count を上書きするだけで十分です。ただし、この設定は実行にはまったく影響しません。テストのためだけに毎回失敗するタスクを作成できましたが、ログには、このタスクが 5 回 (3 回ではなく) 失敗したことが返されます。
私が欠けている基本的な何かがあると思います。