問題タブ [snow]

makeClusterLinux マシンのR パッケージの関数を使用snow して、リモートの Linux マシンで SOCK クラスターを起動しています。2 台のマシンが正常に通信できるようにすべてが解決したようです (2 台の間で ssh 接続を確立できます)。しかし：

結果はスローされず、無期限にハングします。

私は何を間違っていますか？

どうもありがとう

R でキューイング システムのシミュレーションを使用していくつかの分析を行っており、Rmpi と降雪を使用してプログラムを並行して実行しています。さて、私のプログラムは多くの乱数生成を必要とするため、これは特に奇妙です。同じパラメータでシミュレーションを複数回実行すると、毎回同じ結果が得られます。

たとえば、これはシミュレーションを実行したときの出力です: -1 0 0 0 0 0 0 0 2 -1 -1 0 0 0

もう一度実行すると、次のようになりました: -1 0 0 0 0 0 0 0 2 -1 -1 0 0 0 0

1000 万のサンプルがあり、それぞれが同一でした。私は sfClusterSetupRNG() を使用しました。これは、すべてのノードで一意の乱数を確実に生成することを目的としているため、それだけではないと思います。結果を R コードにグローバルに保存することは決してなく、シミュレーションは予想よりもはるかに速く終了します。正直なところ、これがどのように、またはなぜ起こっているのかわかりません。誰かが洞察を与えることができることを願っています。

詳細: これは、sfClusterSetUpRNG() を使用している場合にのみ発生しているようです。

文書をブロックに分割して、他の文書との類似度が一定値(0.1)よりも大きい文書を探したい。

apply を使用するとうまく機能します

parRapply を使用する場合

エラー：

parRapply では sample.dtm が使えないようです。よくわかりません。誰でも私を助けることができますか？ありがとう！

makeClusterSNOW パッケージの関数にはSOCK、" "、" PVM"、" MPI"、および " NWS" のさまざまなクラスター タイプがありますが、それらの違い、具体的にはどれが私のプログラムに最適かはよくわかりません。

現在、負荷分散クラスターに入るさまざまな長さのタスクのキューがありclusterApplyLB、64 ビット 32 コアの Windows マシンを使用しています。

4 つのクラスター タイプの違いの簡単な説明を探しています。どのタイプが私の使用に最適で、その理由とは.

マルチスレッド R スクリプトを実行していますが、クラスターからの出力の生成に問題があります。

新しいRスレッドにあるため、出力が表示されないことは理解していますが、outFun()この出力をマスタースレッドに転送して、印刷時に表示されるようにする方法があることを望んでいました.

編集:この質問は Linux マシンでこれに答えますが、解決策は Windows では機能しません。与えられた回避策は、単純にファイル出力を使用することですが、実際に Windows のマスター スレッドに出力を送り返すことができる解決策を誰かが知っているかどうか知りたいです。

Snow の並列計算が終了した後、エクスポートされた変数を削除する必要がありますか? clusterEvalQ が呼び出されても、「rsession」プロセスのメモリはあまり変更されないことがわかりました。以下のサンプルコードにはメモリの問題があると思われます

雪を使用したい、または雪が異なるタスクを並行して実行したい。各タスクは、互いに完全に独立したコードの一部にすることができます。以下は、3 つの独立したタスクの例です。

私の解決策は次のとおりです。

式のリストをより柔軟に実行できる可能性を探っているところです。モデルのフォームとデータが一貫してフォーマットされていない可能性がある回帰モデルのリストを実行するようなものです。