問題タブ [prefect]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Prefect を使用したタスクの分割
このワークフローでタスクを処理できるバッチを作成する必要があります。
- タスク #1 は入力データを処理し、リストのリストを返します。
- タスク #2 はタスク #1 からリストを受け取り、リストのリストも返します。
- タスク #3 は、タスク #2 からリストを受け取り、リストのリストも返します。
- タスク #4 は、タスク #4 からリストを受け取り、リスト内のデータを処理します。
たとえば、タスク #1 は を返します[[],[],[],[]]。これは、フローが 4 つのタスク #2 を並行して実行する必要があることを意味します。各タスク #2 が返されます[[],[],[]]。ここで、4x3 タスク #3 が必要です。その後、タスク #3 が返されます[[],[]]。最後に、フローは 4x3x2 のタスク #4 を実行する必要があります。
Prefect Flow を使用することは可能ですか? マッピング機能を使用してみましたが、複雑なワークフロー スキーマをサポートしていないようです (または、適切に使用していない可能性があります)。
フロー task1 を実行すると、正しい数のリストが返されます。次に、フローは 4 つの task2 を作成し、それぞれが 3 つのリストのリストを返します。しかし、12 個の task3 を作成する代わりに、フローはそのうちの 4 つだけを作成します。各 task3 は、task2 からの 1 つのリストではなく、task1 で作成された 4 つのリストのリストを受け取ります。
このようなワークフローを作成する方法について何かアイデアはありますか?
python-3.x - Prefect の Lazarus プロセスの時間間隔を停止または延長できますか?
Prefect には、「送信されたフローまたは実行中のフローを再スケジュールする責任がある」このLazarus プロセスがあります。
この問題は、再試行の遅延が 10 分を超えると、Lazarus プロセスによってフローが強制終了されることです。
このような問題が発生しないようにするために、Lazarus プロセスの時間間隔を無効にするか、または長くすることが可能かどうかを知っている人はいますか?
docker - Postgres を指すように Prefect バックエンド サーバーを構成する方法
Prefect をローカルで実行するように構成するのが難しい。pip3 経由でインストールされ、docker (既にインストールされている) と docker-compose に依存し、インストールされ、テストされています。動作します。
既に Postgres サーバーを実行しています。そのサーバーを使用するように構成したいと考えています。しかし、ドッカーでも使用されているようですか？どんな助けでも大歓迎です。
実行時:
イメージ ' docker /compose:1.27.4' をローカルで見つけることができません
ステータス: docker/compose:1.27.4 の新しいイメージをダウンロードしました
警告: PREFECT_SERVER_DB_CMD 変数が設定されていません。デフォルトは空白文字列
警告: DB_CONNECTION_URL 変数が設定されていません。デフォルトは空白文字列
警告: POSTGRES_DB 変数が設定されていません。デフォルトは空白
警告: POSTGRES_PASSWORD 変数が設定されていません。デフォルトでは空白文字列 >
警告: POSTGRES_USER 変数が設定されていません。デフォルトは空白文字列です。