問題タブ [parallel-foreach]

正常に実行されるスクリプトを作成しましたが、並列処理を行っているようには見えません。コア数を 3 から 16 に変更してみましたが、データの生成速度は変わりませんでした。誰が私が間違っているのか、どうすればこれを機能させることができるのか教えてもらえますか?

この関数「ステータス」が適用される約25L行の大規模なデータセットがあります。そのフラグ手順。fn 内では、演算がベクトル化され、適用関数が使用されます。c1-c4 は私のデータの列です。それでも、fn の実行には約 5 ～ 6 時間かかります。

fnをさらに高速化する方法はありますか。私は 16 コアのサーバーで作業しています。だから、もっとスピードアップできると思います。

パッケージを使用しforeachてコードを並行して実行しています。「小さな」データ セットでは正しく機能しますが、より大きなデータ セットでは実行できません。具体的には、次のエラーがスローされます。

serialize(data, node$con) のエラー: 接続への書き込みエラー

これは私のコードです：

実行中、タスク マネージャーで、プログラムが停止する前にメモリがほぼ 100% に達していることに気付きました。さまざまな数のコアを使用して を設定しようとしmemory.limit()ましたが、体系的な方法ではなく、問題が解決しませんでした。私の問題は何ですか?どうすれば解決できますか?

コンピューター: Windows 10 64 ビット、28 GB RAM、CPU 8 コア、R3.2.2 (64 ビット)

同様のものがここに投稿されたことは知っていますが、問題は解決されませんでした。

のメモリ消費に関する問題について多くの投稿があることは知っていますがmclapply、それでも私のケースを助けることができるものがあるかどうかを確認しようとしています.

ランダム フォレスト モデルを ~600 x 60,000 (変数行列 X による応答 y) の行列に当てはめています。

次に、その適合をランダムな適合と比較したいと思います。そのために私がやっていることは次のとおりです。

残念ながら、これはメモリを大量に消費する (100GB 以上が必要) ため、実用的ではありません。

ところで、私が実行している環境は Linux です。

助言がありますか？

私の問題を示すサンプルコードを次に示します。

上記のコードは計算に時間がかかりすぎます。上記を並列化する方法はありますか?

val_1、val_2、および A は、約 50k 要素のベクトルです

次のような for ループがあります。

これを平行にする方法を教えてください。

オンラインの例に基づいてこれを試しましたが、構文が正しいかどうかわかりません。スピードもあまり伸びませんでした。

foreach-package を使用して並行して処理しようとしているコードがあります。コードは機能していますが、4 コアのコンピューターで実行すると約 26 分かかり、32 コアのコンピューターに切り替えても、完了するまでに 13 分かかります。8 倍のコアを使用しているので、何か間違っているのではないかと思っていましたが、時間は半分しか短縮されませんでした。私のコードは次のようになります。

4コアのコンピューターの場合、次の時間が得られます。

これは正常ですか？もしそうなら、おそらく別のパッケージを使用して、さらに高速化する方法を知っている人はいますか? どんなタイプの助けも大歓迎です！

編集：これらは、提案された修正を適用した後の時間です。32 コアの場合:

4 コアの場合:

以前、いくつかのループを介して計算を複数回行ったため、計算時間が大幅に短縮されましたが、それでも 2 台のコンピューターの差が大きくなっていることがわかります。

以下に、複数の CPU を使用して並列プロセスとして実行するように変換したい R のコードを示します。パッケージを使用してみforeachましたが、うまくいきませんでした.3レベルのネストされたループがあるという事実を考慮して、それを機能させる方法の良い例を見つけることができませんでした。助けていただければ幸いです。以下のコードの例 - 例として役立つように単純な関数を作成しました。

従来の方法で結果を取得する:

foreachを使用して同じことをしようとしています：

これは、3x3 ではなく 30x2 次元の行列を返すため、私が望むようには機能しません。私の意図は、i と j の組み合わせのシナリオを k 回シミュレートすることであり、i と j の組み合わせごとにこれらの k シミュレーションの平均を取得したいと考えています。