視覚的な ETL ツールから Luigi への夜間データ パイプラインの移植を開始しています。ジョブのステータスを確認するためのビジュアライザーがあることを本当に楽しんでいます。MasterEndただし、最後のジョブ ( という名前) が完了してから数分後に、 を除くすべてのノードがグラフから消えることに気付きましたMasterEnd。その日/過去の日のすべてが完了したことを確認したいので、これは少し不便です。
さらに、ビジュアライザーで最後のジョブの URL に直接アクセスすると、実行された履歴が見つかりませんCouldn't find task MasterEnd(date=2015-09-17, base_url=http://aws.east.com/, log_dir=/home/ubuntu/logs/)。今朝、正常に動作することを確認しました。
注意すべきことの 1 つは、このパイプラインを 15 分ごとに実行して S3 上のファイルをチェックする cron があることです。存在する場合は実行され、存在しない場合は停止します。それが原因でビジュアライザーからタスクが削除されているかどうかはわかりません。実行ごとに新しいものが生成されることに気付きましたPIDが、ドキュメントで 1 日あたり 1 つの PID を保持する方法が見つかりませんでした。
それで、私の質問:ビジュアライザーで当日の完成したグラフを保持することは可能ですか? また、過去に何が起こったかを確認する方法はありますか?
すべての助けに感謝します