問題タブ [snow]

r-parallel コンピューティングに関する質問があります。私は次のようなものを使用しています:

現在の環境で特定のオブジェクトを特定して、プロセッサ コアに分散し、一部の機能に使用するにはどうすればよいでしょうか? 環境内のオブジェクト全体を別のコアにコピーするのに R は必要ありませんが、選択した一部のオブジェクトのみをコピーします。私のプロジェクトでは、大きな R オブジェクトがあり、RAM の問題を回避するために、それらをコアにコピー/配布する必要はありません。その解決策はありますか？

ありがとう

私の目標は、同じデータ構造と高速で、5 株 (xts オブジェクト) の毎日のリターンを 90 日間のルックバック期間 (過去 90 日間のリターンの SD を計算) のローリング標準偏差にマッピングすることです。 . コア関数「lapply」を使用したアプローチはうまく機能します。ただし、snowfall パッケージの並列アプローチ「sfLapply」は、何らかの理由で機能しませんでした。ここにイラストがあります：

ライブラリの初期化とデータセットとパラメータのシミュレーション:

lapply を使用してローリング SD を計算すると、機能するソリューションが得られます。

動作しなかった並列バージョンは次のとおりです。

上記のコードは、次のエラーを返します。

独自の for ループを作成していないため、なぜこのエラーが発生するのかわかりません。考えられる間違いを指摘してください。どんな考えでも大歓迎です。助けてくれてありがとう!

環境: R:3.2.0/ RStudio:0.99.472 / 雪:0.3-13 / 降雪:1.84-6/ xts:0.9-7/ PerfomanceAnalytics:1.4.3541

PS runSD は、apply.rolling の代わりに使用できます。apply.rolling は、さまざまな関数で機能するため、使用されます。

私はraster長い間 R パッケージを使用してきましたが、今ではこの clusterR の問題に頭を悩ませています。netCDF ラスターの SPI インデックスを計算する必要があります。これはセルごとに行われ、セルの時系列を取得し、そのセルの SPI インデックスの時系列を返します。

入力ファイルの例 (約 4MB) は、ここにあります。

以下のコードを参照してください。

traceback()この場合はまったく役に立ちません。なにが問題ですか？

Windows マシンで Snow バックエンドを使用して foreach ループを実行しています。使用するコアは 8 つあります。rscript は、Python スクリプトに埋め込まれたシステム コールを介して実行されるため、アクティブな Python インスタンスも存在します。

#workers=#cores を使用せず、代わりに #workers<#cores を使用すると、システム プロセスまたは python インスタンスが常に開かれるので、何か利点はありますか?

#workers=#cores を使用して正常に実行されますが、r ワーカー インスタンスでコア (可能な最大スレッド数) を飽和させると、パフォーマンスが低下しますか?

R で tm パッケージと並列計算を使用しているときに問題が発生しました。何かばかげたことをしているのか、それともバグなのかわかりません。

再現可能な小さな例を作成しました：

この例を使用して単純なラップリーを実行すると、問題なく期待どおりの結果が得られます。

しかし、並行して実行すると、次のエラーが発生します。

最初のエラー: 次元数が正しくありません

私は doSNOW パッケージ、より具体的には parLapply 関数を使用して、大きなラスター データセット (OS: Windows x64) のリストに対して再分類 (およびその後の他の操作) を実行しています。

コードは、次の最小限の例に少し似ています。

コードは実際に意図したとおりに機能します。結果を続行したいときに問題が発生します。次のエラー メッセージが表示されます。

私が理解している限り、ラスターは非常に大きいため、ディスク上の一時ファイルに保存されます。雪のクラスターを閉じると、これらのファイルにアクセスできなくなります。

私の質問は、クラスターが閉じられた後にデータにアクセスするにはどうすればよいですか? この方法で続行できますか?

ありがとう！