問題タブ [dask-gateway]

現在、CPU のみのワーカーで Dask Gateway を使用しています。ただし、ディープ ラーニングがより広く採用されるようになると、Dask Gateway を介して作成されたクラスターに GPU サポートを追加するように移行したいと考えています。

Dask Gateway のドキュメントを確認しましたが、これを設定する方法と、この機能を有効にするために変更する必要があるヘルム チャート/構成のどの部分についての詳細な説明はあまりありません。

私が考えているのは、最初に GCP 上の GKE クラスターに GPU を追加してから、この GPU を利用するタスク ワーカーに RAPIDS dockerfile を使用することですか? Dask Gateway に必要なセットアップはこれですべてですか?

誰かが私を正しい方向に向けることができれば幸いです。

Google Cloud Platform の Kubernetes に Dask Gateway をデプロイしました。現在、内部 TCP ロード バランサーを使用して、セキュリティ上の目的で traefik プロキシを公開しています。ユーザーは、Dask Gateway を介して生成されたクラスターへのクライアント接続を問題なく作成できます。しかし、プライベート VPC で内部ロード バランサーを使用しているため、ダッシュボードへのリンクにはアクセスできなくなりました。このダッシュボード リンクを公開するにはどうすればよいですか?

私がやろうとしているのは、Dask ダッシュボード用に別の外部ロード バランサーを作成してから、クラスター構成で、何らかの形でそれを外部ロード バランサーにポイントすることです。しかし、kubernetes helm チャートでこれを行う方法がよくわかりません。

前もって感謝します。

dask ゲートウェイの構成ドキュメントには、適応期間の設定があります。dask.configこれは標準変数とどのように相互作用しますDASK_DISTRIBUTED__ADAPTIVE__INTERVALか? 一般に、GatewaySchedulerServicedask.configにはいくつかのオプションを模倣するパラメーターがあるようです。

ゲートウェイを使用する場合、次の dask 構成変数は使用されますか、それとも無視されますか?

• DASK_DISTRIBUTED__SCHEDULER__WORKER_TTL
• DASK_DISTRIBUTED__ADAPTIVE__INTERVAL
• DASK_DISTRIBUTED__ADAPTIVE__WAIT_COUNT
• DASK_DISTRIBUTED__ADAPTIVE__TARGET_DURATION

それらを使用する場合、どこに設定する必要がありますか? gateway.backend.scheduler.extraContainerConfig、または他の場所の構成yamlで？

[dask-gateway][1] を使用しているときに、dask スケジューラー/ワーカー テンプレートを置き換える方法がわかりません。

背景: 新しいタスクを送信するときに、dask-distributed と dask-kubernetes を次のテンプレートを使用するように正常に構成しました。

上記の構成を使用するために dask-gateway を使用して作成されたスケジューラーとワーカーを構成する方法をよりよく理解するのを手伝ってもらえますか? [1]: https://gateway.dask.org/install-kube.html#

Dask-gateway を介してクラスター環境で Dask を使用しています。Jupyter Notebook で計算グラフを作成しました。私の遅延関数内で、いくつかの個別の .py ファイルで定義された複数の関数を呼び出します。現在、ワーカーでこれらのモジュールが見つからないというエラーが発生しています。これは、ワーカーがこれらの .py ファイルにアクセスできないためだと思います。これらの .py ファイルをワーカーに「送信」するにはどうすればよいのでしょうか?

ありがとう。