15 台のマシン (それぞれ 4 つのコア) で数千*のモデルを実行する必要があり、すべて Windows です。parallel
私は、snow
およびパッケージ化を学び始めsnowfall
、たくさんのイントロを読みましたが、それらは主にマスターのセットアップに焦点を当てています。Windows でワーカー (スレーブ) ノードをセットアップする方法に関する情報はほとんどありません。情報はしばしば矛盾しています: SOCK クラスターが実質的に最も簡単な方法であると言う人もいれば、 Windows での SOCK クラスターのセットアップは複雑 (sshd セットアップ) であり、最良の方法は MPIであると主張する人もいます。
では、Windows にスレーブ ノードをインストールする最も簡単な方法は何でしょうか? MPI、PVM、SOCK、または NWS? 私の、おそらく素朴なアイデアは次のとおりです(優先順位に従ってリストされています):
- スレーブ ノードで 4 つのコアすべてを使用するには (必須)。
- 理想的には、いくつかのパッケージと、いくつかのポートでリッスンしてマスターからのタスクを待機するスレーブ R スクリプトまたは R 関数を含む R のみが必要です。
- 理想的には、ノードをクラスターから動的に追加/削除できます。
- 理想的には、スレーブはマスターに接続するため、マスターの構成ですべてのスレーブ IP をリストする必要はありません。
100% 必要なのは 1 つだけで、2 ~ 4 つが「あればよい」です。要求するのはあまりにも素朴ですか?
申し訳ありませんが、利用可能なドキュメントとチュートリアルからこれを理解することができませんでした. 正しい情報源を教えていただければ幸いです。
* これらの何千ものモデルのそれぞれに少なくとも 7 分かかるため、大きな通信オーバーヘッドは発生しないことに注意してください。