問題タブ [snowfall]

EC2 で R を実行することを検討してきましたが、このセットアップでは並列/クラスター コンピューティングとの関係がどうなっているのか疑問に思っています。私は周りを見回しましたが、これに関するチュートリアルを見つけることができませんでした。

基本的に私がやろうとしているのは、ラップトップで R (Rstudio) を実行し、その上でほとんどの作業を行うことですが、実行する大きな操作がある場合は、それを明示的に AWS スレーブ インスタンスに渡してすべてを実行します。重労働。

私が見る限り、雪/降雪パッケージが答えのようです...しかし、どうすればよいかわかりません。

http://bioconductor.org/help/bioconductor-cloud-ami/ (ssh のもの)のチュートリアルを使用して、R を実行しています。このチュートリアルでは、並列/クラスターについて言及していますが、異なる AWS インスタンス間にあるようです。

どんな助けでも素晴らしいでしょう。乾杯。

私のコードは次のようになります。

最後の 4 行を実行すると、エラーが発生します。

lapplyを使用して順次処理に切り替えると、完全に実行されます。

sfLapply がエラーをスローするのはなぜですか?

この質問は、ユーザー定義関数を複製する方法を尋ねていたこの質問に関連しています。ここで、時間を節約するために操作を並列化したいと思います。私が事前に行ったことは次のとおりです。

1. 行と列の行列my.fun()を返すカスタム関数を定義しました。output100020

2. 私はsaytimesを複製5しoutput、結果を次のように呼び出される単一の行列に格納しfinalますfinal <- do.call(rbind, replicate(5, my.fun(), simplify=FALSE))。したがって、この例finalでは5000-rows行列です。

私が今やりたいのは、結果をマトリックスoutputにバインドする前に、5つ（またはそれ以上）の複製を並列化することです。final

どのようにそれをしますか？私がこれまでに（間違って）行ったことは次のとおりです。

しかし、それは戻ります：

どんな助けでも大歓迎です！必ずしも使用したくないことを考慮してください。-snowfall-最終的な目標は、の計算をfinal効率的な方法で並列化することです（実際には、多くの複製を作成する必要があります）。

大学のクラスターで実行しようとしましたRmpiがsnowfall、何らかの理由で、割り当てられた計算ノードの数に関係なく、snowfall初期化は 1 つのノードでしか実行されません。

これが私がそれを初期化する方法です：

何か案は？必要に応じて説明を加えます。

LAN 上に 2 台のサーバーがあり、Centos 6.4 最小および R 3.0.1 が新規インストールされています。両方のコンピューターに doParallel、snow、および snowfall パッケージがインストールされています。

サーバーは互いに正常にsshできます。

いずれかの方向にクラスタを作成しようとすると、パスワードを求めるプロンプトが表示されますが、パスワードを入力した後、無期限にハングします。

これをトラブルシューティングするにはどうすればよいですか?

編集：

また、(他のコンピューターから) スレーブとして使用できるホストを備えた上記のコンピューターで makePSOCKcluster を呼び出してみましたが、それでもハングします。それで、ファイアウォールの問題がある可能性はありますか？また、ポート 22 で makePSOCKcluster を使用してみました。

これが私のiptablesです

このコードを R に適用すると、ループとsapplyスノーフォールの関数よりも高速になります。私は何を間違っていますか？(windows8を使用)

100 回のレプリケーション後の経過時間:

私は最近、R で Snowfall パッケージを使い始めました。次のように、非常に複雑な実装で正常に動作しています (y ループが並列処理されています)。

これを 2 または 4 プロセッサのコンピュータで実行しています。理論的には、x、y、z、q ループをすべて並列に実行できると思います。したがって、x カウンターを並列に実行し、次に並列 x プロセスごとに、y を並列に実行します。

私の質問は、非常に少数のプロセッサを使用している場合、これは理にかなっていますか? たとえば、4 つのプロセッサでは、y ループの計算によってプロセスが最大出力 (各プロセッサで一度に平均 25) で実行され続けるため、プロセスの他の部分を分割しても時間が節約されません。