問題タブ [prefect]

プリフェクトとダスクを組み合わせて、GCP に kubernetes クラスターをデプロイしました。通常のシナリオではジョブは正常に実行されますが、データの 2 倍のスケーリングに失敗しています。これまでのところ、メモリ使用量が多いためにスケジューラが停止することに絞り込みました。 Dask スケジューラ メモリ メモリ使用量が 2GB に達するとすぐに、「ハートビートが検出されませんでした」というエラーでジョブが失敗します。

ワーカー メモリと CPU を設定する別のビルド Python ファイルが利用可能です。ゲートウェイ オプションを取得してワーカー メモリをセットアップする dask-gateway パッケージがあります。

dask-scheduler のメモリ割り当てをどこでどのように増やすことができるかわかりません。

概要

Prefect docker エージェントを理解しようとしています。そのために、ローカル マシンで最小限のセットアップを構成しようとしています。docker エージェントをローカル サーバーに接続することができましたが、フローが実行されているようです。ただし、フローが終了した後、エージェントはサーバーのバックエンドに接続できないため、サーバーでフローの状態を更新できないようです。

詳細

これが私のフローです：

ローカル コア サーバーを使用するようにバックエンドを構成します。

次に、サーバーを起動します。

サーバー UI に接続し、実行されlocalhost:8080ていることを確認します。

UI で、プロジェクトを作成しますtutorial。

次に、フローを登録します。

次に、UI にフローが期待どおりに表示されることを確認します。したがって、私のマシン名はparamiラベルであることに注意してくださいparami。

次に、ラベルを指定してローカル Docker エージェントを起動しparamiます。

次に、UI を介してフローを実行します。フロー実行は と呼ばれenigmatic-axolotlます。

Docker エージェントのログは次のとおりです。

そのため、エージェントはenigmatic-axolotlサーバーからフロー実行を正常に取得しており、実行を完了したように見えます。私の理解では、フロー実行のステータスを更新するためにサーバーに接続しようとしています。ただし、 への接続に失敗しているため、接続に失敗していhost.docker.internal:4200ます。

が有効なホストかどうか疑問に思っhost.docker.internalたので、オプションでエージェントを再起動しました-a http://localhost:4200。エージェントは でサーバーに正常に接続しますlocalhost:4200(ログにそう報告されます) が、フローを再度実行すると、以前と同じエラーが発生します。つまり、 への接続に失敗していhost.docker.internal:4200ます。

最後に、エージェントを で再実行しました-a http://0.0.0.0:4200。繰り返しますが、サーバーに正常に接続します。その後、フローを再実行すると、再び失敗します。ただし、今回は次の場所に接続しようとしてい0.0.0.0:4200ます:

私は何が欠けていますか？これを機能させるために設定する必要がある構成があると思います。

私はgreat_expectationsの統合問題に苦しんでいます。
私は明らかにRunGreatExpectationsValidationタスクを次のように使用します。

GE でコマンドを実行すると (great_expectations --V3-api checkpoint run my_checkpoint)、機能しますが、完全なタスクでは例外があります: GE V3 API の場合:

GE V2 api と同じ

Great_expectations=0.13.43 (バージョン 0.12.10 でも試しました)
prefect=0.15.9
この pb を経験した人はいますか? ありがとう