問題タブ [dask-delayed]

私はPythonで書かれた関数を持っています。その関数内のコードが並列化可能かどうかを知りたいのですが、その関数内でdask API呼び出しを行わずに、その関数内のコードを何らかの方法で並列化できますか?

dask.delayed がこれに役立つかどうかを考えていました。しかし、関数の複数回の実行を並列化すると思いますが、関数の内部コンテンツを並列化したいです。daskを使用することさえ可能ですか？

M1、M2、M3、M4 の 4 台のマシンがあります。スケジューラ、クライアント、ワーカーは M1 で実行されます。M1にcsvファイルを入れました。残りのマシンはワーカーです。

daskでread_csvファイルを使用してプログラムを実行すると。それは私にエラーを与えます、ファイルが見つかりません

私は分散型の dask クラスターをセットアップしており、それを使用して一連のデータを読み込んで変換しました。魅力のように機能します。

私はそれを使用していくつかの処理を並行して行いたいと思っています。これが私の機能です

これは、私がやろうとしていることのシングル プロセッサ バージョンです。

正常に動作しますが、数時間かかります。これがダスクでこれを行うための私の行き方です：

実行all_corr[1].compute()しても、そこに座っているだけで応答しません。カーネルを中断すると、/distributed/utils.py でスタックしているようです:

~/.../lib/python3.6/site-packages/distributed/utils.py in sync(loop, func, *args, **kwargs)

これをデバッグするための提案はありますか?

他のもの：

• 小さいmat(el=1000) で実行すると、正常に実行されます。
• 私が作るel = 5000と、ハングします。
• カーネルを中断して再度実行するとel = 1000、ハングします。