問題タブ [dask-ml]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
parallel-processing - dask_ml.model_selection.GridSearchCVによる並列計算に関する質問
単一のクラスターでの並列コンピューティングで "dask_ml.model_selection.GridSearchCV(sklearn_function(),param_list,cv=5,n_jobs=20,scheduler="multiprocessing")" を使用した経験がある人はいますか?割り当てられた 20 個の CPU すべてのワーカーが永遠にスリープし続けることに遭遇しますか? ?
dask - Dask-ml ParallelPostFit が分散を使用せず、ローカル マシンでメモリ エラーが発生する
大規模なデータセットに対してランダム フォレスト予測を実行し、結果をデータフレームとして保存したいと考えています。https://examples.dask.org/machine-learning/parallel-prediction.htmlを読むと、「ワーカーは、単一のマシンでデータを収集することなく、予測値を共有ファイル システムに書き込むことができます」と書かれています。しかし、私はこれを行う方法を理解できません。分散クラスターに接続して次のことを行うことで、これを試しました。
ただし、これはクラスターで計算をトリガーせず (ダッシュボードで観察)、to_parquet計算時xに1TB RAM マシンでメモリ エラーが発生しますt。クラスターに送信する他のものはすべてそこで計算されます。では、予測の結果を保存するにはどうすればよいでしょうか。
編集:これは、入力のサイズの問題のようxです。の形をしてい(24507731,8)ます。(24507,8)代わりに、計算が終了した形状でランダムデータを投入するだけです。ParallelPostfitそもそも大規模なデータの予測を可能にするはずだったので、これは非常に驚くべきことです。
dask - RAMが限られているDaskに巨大なモデルをロードする方法は?
モデル(ANNOYモデル)をDaskにロードしたい。モデルのサイズは60GBでDask RAMは2GBのみ。モデルを分散してロードする方法はありますか?