問題タブ [parallel-foreach]

foreach パッケージを使用して for ループを並列処理したい:

元のコードは次のようになります。

データフレームからデータを取得し、データを別のデータフレームに戻すために、インデックス i を行番号として使用しました。

ただし、変更すると:

に

非常に高速に実行されますが、結果はデー​​タ フレームの 1 つの列にしか格納されないようです。2 つの列をまとめて保存するにはどうすればよいですか?

並列化するには、共有データ フレームをどのように記述すればよいですか?

data_df のサンプル データ

以下は、再現可能なコードのために問題を表す単なるおもちゃのサンプルですが、私のデータとデータに作用する後続の関数ははるかに複雑であり、実際には並行して実行することでメリットが得られます。

私が抱えている問題は、以下のループが %do% と %dopar% の両方で期待どおりに実行されることですが、%dopar% は %do% に比べて非常に遅いです。

私は問題を、非常に大きなリストを検索し、サブセットにインデックスを付けてそのリストからデータを取得し、それに何かをしているという事実に絞り込みました。

%dopar% をどのように改善できるかについて、誰かが洞察を提供できますか? 私の実際のデータでは、既にリストに格納されているデータ フレームをサブセット化し、その df を 4 つの異なる関数に渡す必要があります。

また、申し訳ありませんが、R-Help にこの質問を投稿しましたが、Stack Exchange で foreach に関するその他のアクティビティを参照してください。

複数のコアでコードを実行するために doParallel および foreach パッケージを使用しています。私のコードは次のようなものです

fun1 を呼び出すと、fun2 の最初のインスタンスが正常に実行されますが、foreach を使用して fun2 を呼び出しているインスタンスでは、Error in fun2(param4, param5, : task 1 failed - "could not find function "fun2"")というエラーが発生します。

以下のサンプル コードで foreach と doParallel を使用しています。

clusterExport の environment 引数で、envir = .GlobalEnvを使用すると、エラーが発生します

**"Error in get(name, envir = envir) : object 'param4' not found"**.

そして、envir = environment()を使用すると、エラーは

**"Error in fun2(i, param4, param5, param6) : task 1 failed - "could not find function "fun2"""**

私の質問は、グローバル環境と関数環境のすべてのオブジェクトをクラスターにエクスポートする方法です。