問題タブ [luigi]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Python ベースの非同期ワークフロー モジュール:セロリ ワークフローとルイージ ワークフローの違いは何ですか?
Web フレームワークとして django を使用しています。タスクの同期および非同期 (バッチ タスク) チェーンを実行できるワークフロー エンジンが必要です。バッチ処理ワークフローとしてセロリとルイージを見つけました。私の最初の質問は、これら 2 つのモジュールの違いは何かということです。
Luigi を使用すると、失敗した一連のタスクを再実行でき、失敗したサブタスクのみが再実行されます。セロリはどうですか? (失敗したサブタスク コードを修正した後に) チェーンを再実行すると、既に成功したサブタスクが再実行されますか?
2 つのサブタスクがあるとします。最初のものはいくつかのファイルを作成し、2番目のものはそれらのファイルを読み取ります。これらをセロリのチェーンに入れると、2番目のタスクのバグコードが原因でチェーン全体が失敗します。2 番目のタスクでコードを修正した後にチェーンを再実行するとどうなりますか? 最初のタスクはそれらのファイルを再作成しようとしますか?
python - Luigi パラメータのデフォルト値とモック
luigi パラメータのデフォルト値を提供するものをモックしようとしています。
私が達成しようとしていることを示す愚かな例:
テスト中のタスク:
単体テスト コード:
luigi.Parameter ロジックは、パッチよりも前に発生しているようです。
この例では、test_patched_foo合格とtest_patched_baz不合格です。したがって、パッチは発生しますが、luigi.Parameter(default=bar.bar())回線からの呼び出しの後に発生します。
この方法で呼び出されたものをモックしてパッチを当てることは可能ですか?
python - python luigiからファイルに出力を書き込む
ドキュメントからpython luigiの例を実行しようとしました：
コマンドラインを使用して実行しました：
これにより、実行しているディレクトリにファイルが作成されるという印象を受けましたが、そうではありませんか?
私は何か間違ったことをしていますか？
mysql - MySQL から Redshift にデータをロードするための Luigi ワークフローを作成するにはどうすればよいですか?
ルイージは、フロー全体を実行するために私をサポートしてくれますか?
フローは次のようになります。MySQL データを S3 にダンプしてから、Copy コマンドを使用してデータを Redshift に移動します。
Luigi を使用して上記のワークフローを実行できますか?