問題タブ [rparallel]

mclapply 関数で mclapply() を使用する関数を呼び出すと、Rscript myFuction.R --json=config.jsonメッセージが表示されて失敗する場合

スケジュールされたすべてのコアで、ユーザー コードでエラーが発生しました

ただし、RStudio 内でコードを実行すると、正常に動作します。RStudio AWS AMI で開発して RStudio でテストしており、RStudio AWS マシンの端末から Rscript を実行しており、RStudio と端末の環境は同じです。

Rscript で mclapply を実行するときに定義する必要がある mclapply またはその他の環境パラメーターに指定する必要がある可能性のある追加のパラメーターについて、誰か知っている人はいますか?

すべての mclapply() 引数を変更しようとしましたが成功しませんでした

ここに私の環境があります。

これは「警告メッセージ」ですが、mclapply は終了します

メモリの制限に達しないように、プログラムを何度も書き直しました。それは再び完全な VIRT を占めますが、これは私には意味がありません。オブジェクトを保存しません。計算が終わるたびにディスクに書き込みます。

コード（簡略化）は次のようになります

ブートストラップ関数は、単にデータをサンプリングし、サンプリングされたデータをディスクに保存します。

これがどのようにして 60 GB を超える RAM に蓄積されるのかわかりません。コードは非常に単純化されていますが、問題になる可能性のあるものは他にありません。必要に応じて、コードの詳細をさらに貼り付けることができます。

R生成されたオブジェクトをディスクに保存するためにソフトウェアを書き直したにもかかわらず、どのようにして連続してメモリを消費するのでしょうか?

Rで解析しようとしているこのデータセットがあります.HMDBからのデータとデータセット名はSerum Metabolites(xmlファイルの形式で)です。xml ファイルには約 25,000 の代謝物ノードが含まれており、それぞれをサブノードに解析したい

XML ファイルを R のリスト オブジェクトに解析するコードがあります。XML ファイルは非常に大きく、各代謝物に必要なサブノードが約 12 あるため、ファイルの解析に長い時間がかかります。約 3 時間で 1,000 の代謝物になります。パッケージを使用しようとしていますparallelが、受信してエラーになります。

パッケージ:

関数：

次に、環境を作成します。

そして実行します：

受け取ったエラー:

これらのリンクに基づいて、並列を実装しようとしました:

1. R での並列処理
2. 関数からグローバル関数を呼び出す方法はparLapply?
3. R parallel のエラー: checkForRemoteErrors(val) のエラー: 2 つのノードでエラーが発生しました。最初のエラー: 接続を開けません

invalid connection しかし、エラーとして見つかりませんでした

Windows 10 で最新の R バージョン 4.0.2 を使用しています (十分な情報かどうかはわかりません)。

ヒントやアイデアをいただければ幸いです

私がfunction1取り組んでいる R パッケージ内には、パッケージ内のヘルパー関数 (h_function1や などh_function2) に依存する関数 ( など) があります。function1パッケージ内の別の関数内で繰り返し呼び出すために並列化しています。

現在、私のパッケージではコードを使用しています

ここでcl、関数に渡された並列パッケージのクラスターです。h_function1ただし、これはヘルパーが機能し、パッケージからローカル環境にロードされることを前提としていh_function2ますが、これは一部のユーザーには当てはまらない場合があります。

関数をクラスターに柔軟にエクスポートする方法は何ですか? パッケージのすべての機能をパッケージ名でエクスポートできますか?