問題タブ [dask]

以下はdask配列です

のdtypeをfloat96に変更したいx。実行する方法？

私のdaskプログラムが出力を生成しない理由について混乱しています。送信後に単にハングします。スレッドの代わりにプロセスを使用するように指定し、送信時にすべてのコアが起動するのを確認できるため (ここで提案されているように: dask 計算が並列で実行されていません)、計算しているように見えますが、決して終了しません。長いテキスト ファイルのリストに対して単純な正規表現を実行しようとしています。明らかな何かが欠けていますか？

Daskを使用した分散データ フレームに関するMatthew Rocklin の投稿に基づいて、いくつかの要約統計計算をクラスター全体に分散しようとしています。でクラスターをセットアップすると正常にdcluster ...動作します。手帳の中に、

私が読んでいるファイルは、すべてのワーカー マシンがアクセスできる NFS マウント上にあります。この時点でdf.head()、例を見ると、すべてが正しく見えます。ブログ投稿から、私はこれを行うことができるはずだと思います：

しかし、それはエラーです:

HDFS ではなく通常のファイル システムからデータ フレームを配布する正しい方法は何ですか?

多くのファイルに分割された多くのテーブルの結果を個別に計算する、簡単に並列化できるタスクがあります。遅延リストまたはdask.dataframeリストを作成できます（また、dictなども試しました）、計算するすべての結果を取得することはできません（を使用してdaskグラフスタイルの辞書から個々の結果を取得できます.get()が、再びできませんすべての結果を簡単に計算できます)。最小限の例を次に示します。

同様に：

[3, 3] を取得したいと思います。これは、遅延コレクション docsに基づいて期待されるものです。

私の本当の問題については、実際には HDF5 ファイルのテーブルを計算したいと思いますが、それを使用できることを考えるとdask.get()、遅延/ダスク データフレーム ステップをすでに指定していると確信しています。

辞書に直接結果をもたらすソリューションに興味がありますが、(キー、値) タプルのリストを に返すこともできますdict()。これは、おそらく大きなパフォーマンス ヒットではありません。

数値の DataFrame を配列に簡単に変換する方法はありますか? valuespandas DataFrame と同様です。提供された API を使用してこれを行う方法を見つけることができないようですが、それは一般的な操作だと思います。

このダッシュコードの場合:

array遅延タスクを実行して、すべての要素にアクセスしたい。しかし、関数ではないので呼び出すことはできませarray.compute()んarray。私が行った場合

次に、各タスクは並行して実行されますか、それとも終了a[1]後にのみ起動されa[0]ますか? このコードを記述するより良い方法はありますか?