問題タブ [parallel-foreach]

foreach を使用して並列シミュレーションを行うことについて質問があります。何時間も費やしてエラーが発生し続けるので、事前に助けていただければ幸いです。

私は foreach() をシミュレーション研究に使用しています。各反復で、その関数自体にいくつかの「通常の」ループがある関数を実行します。順番に実行すると、完全に正常に動作します。Linux サーバーでは、R 内で foreach を使用して並列に実行すると正常に動作しますが、「nohup R CMD BATCH」コマンドを使用してバッチ モードで実行するとすぐに、エラーが返され始めます。シミュレーションごとにシード番号を手動で設定しました。つまり、R 内で並列に実行する場合でも、バッチ モードで並列に実行する場合でも、R 内で順次実行する場合でも、私のコードは基本的に同じシミュレートされたデータで実行されるため、1 つの方法で生成されない場合他のエラーもエラーにつながるべきではありませんが、奇妙なことに、そうではありません。誰かが同じ挑戦をしましたか？

私は何時間もかけて例外処理を行いましたが、何も起こりませんでした。

これが私のコードです：

「試行」なしで、私は取得し続けます：タスク3527が失敗しました-「$演算子は原子ベクトルに対して無効です」

試してみると、私の Coef.Fixed.LME はすべての要素が "numeric.2" で非常に奇妙になります!

Metropolis-Hastings アルゴリズムをセットアップしました。現在、並列計算を使用してアルゴリズムを実行しようとしています。シングルチェーン関数をセットアップしました

これは、p 個のパラメーターと反復反復を含むp x反復行列を返します。

更新: 問題を単純化しようとすると、コードが突然機能するように見えました。わざとエラーを起こそうとしましたが、コードは完全に実行され、結果は期待どおりでした。残念ながら、同様の問題を抱えている他の人には答えられません。

フォローアップの質問: 私の最初の目的は、機能全体を構築することでした。

しかし、 foreach-loop は、次のような必要なすべての関数を読み取っていないようです:

foreachループ内にカスタム関数を実装する方法を誰かが答えることができますか? と入力してMCmulti <- function(FUN,...) FUN()呼び出すのMCmulti(MCsingle,...)ですか？

質問があります。次のクエリを使用して、データベースから配列を取得しました。

今、私はループごとに1つ$news['login']が必要です。$imgs['usrpic']

例えば：

どうすればこれを行うことができますか？

例：

index<1> idx はどのように機能しますか? 仮に、質量で: array_view の数値のセット

以下のコードは、Windows プラットフォームと Ubuntu プラットフォームで異なる結果を生成します。並列処理の処理方法が異なるためだと理解しています。

要約すると、Windows では実行できるのに、 Linux では並列 ( 、)でデータを実行することは
できません。 insertrbindmclapplymcmapply

Windowsで並列に動作しないことを指摘してくれた@Hong Ooiに感謝mclapplyしますが、以下の質問はまだ有効です。

もちろん、同じへの複数の挿入はありませんdata.frame。各挿入は別々の data.frame に実行されます。

そして質問：

Linux プラットフォームでrbind個別の を並列に実行するにはどうすればよいですか?data.frame

私の場合、 PS Off-memory storage likeSQLiteは解決策とは見なされません。

私はこの SO の質問と回答 ( R 並列コンピューティングとゾンビプロセス) を読みましたが、私の状況に完全には対応していないようです。

Mac OS X 10.10.3、R 3.2.0、および RStudio 0.99.441 を実行する 4 コアの MacBook Pro を使用しています。

昨日、パッケージ「foreach」と「doParallel」を試していました（作業中のパッケージで使用したい）。これは私がしました：

4 コア マシンで 14 プロセスを使用するのは意味がないことは明らかですが、ソフトウェアは実際には 16 コア マシンで実行されます。この時点で、私のコンピューターは停止しました。アクティビティ モニターを開くと、16 個 (またはそれ以上か?) の R プロセスが見つかりました。アクティビティ モニターから強制終了しようとしましたが、うまくいきませんでした。RStudio を閉じると、すべての R プロセスが強制終了されました。RStudio を再度開くと、すべての R プロセスが再起動されました。コンピューターを再起動し、RStudio を再起動すると、すべての R プロセスが再起動されました。

これらすべてのプロセスを再起動せずに RStudio を起動するにはどうすればよいですか?

編集：当時作業していたパッケージも再ビルドしたことを忘れていました（ビルド中にすべてのプロセスが実行されていた可能性があります）

EDIT2：また、clが環境にないため、StopCluster（cl）を実行できません...そのRセッションを閉じました。

EDIT3：R.app（Rで提供されるR GUI）を開くか、ターミナルでRを開くと、そのような問題は発生しません。だから私はそれがRStudio関連でなければならないと思います。

EDIT4: RStudio を開いてから、これらの望ましくないプロセスがすべて開始されるまでの間に、ランダムな遅延があるようです。15秒から2分。

EDIT5:プロセスが開始されたプロジェクトを開いた後にのみプロセスが開始されるようです。

EDIT6: .Rproj.user ファイルから削除するものを探しています。ctx、pcs、および sdb 内のすべてのファイル (ディレクトリは除く) を削除しました。問題が解決しない。

EDIT7:コマンドラインで「killall R」を実行すると、これらのプロセスがすべて強制終了されますが、RStudio を再起動してプロジェクトを再度開くと、すべてのプロセスが再び開始されます。

EDIT8：「killall -s R | wc -l」を使用して、プロジェクトが開いている間にRプロセスの数が増えていくのを見つけました。358 まで上がったので、コンピュータが恐ろしい音を立てていたので、「killall R」を実行しました。

EDIT9: RStudio は現在完全に使用できません。「killall R」を実行するたびに、15 秒以内にすべてのプロセスが再起動されます。

EDIT10:大量の R プロセスも起動するビルドを開始すると、最後のチェックで 109 になります。これらのプロセスはすべて、ビルドで「遅延読み込み用のパッケージを準備しています」と表示されたときに開始されます。この時点で、コンピューターはほぼ停止します。

EDIT11: .Rproj ファイル (実際にはバックアップとして移動しただけ) と .Rproj.user ディレクトリを削除しました。RStudioで「ディレクトリからプロジェクトを作成」を使用しました。その新しいプロジェクトを開くと、同じ動作が得られます。.Rproj ファイルまたは .Rproj.user ディレクトリのどこにも含まれていないプロジェクトを開くと、RStudio は何をしますか? 私はこの 1 つの問題に 1 日を費やしました....:(

foreach パッケージを使用して、次の行が約 10 秒で実行されることを期待していました。

そして次の行は約2秒で実行されます

しかし、うまくいきません。

私は Mac OSX を使用しており、私のマシンには 16 個のプロセッサが搭載されており、現在何も実行されていません。エラーや警告メッセージは表示されません。

ubuntu 14.04のR 3.2.0で使用freadしforeachてパッケージ化しました。doParallelを使用していなくても、次のコードは問題なく動作しますregisterDoParallel。

ただし、Windows 7 に切り替えると、「registerDoParallel」の有無にかかわらず機能しなくなります。

「doSNOW」パッケージも機能しません。以下はエラーメッセージです。

誰か似たような経験がありますか？

フォローアップの質問は、ネストされたに関するものforeachです。以下はうまくいかないようです。