問題タブ [grid-computing]

QuantumおよびMolecularDynamicsパッケージの広範なリストから、キューイングシステムPBSおよびSunGridEngineで動作するクラスターに簡単に「相互接続」できるものはどれですか。

それとも、PBSまたはSGEの方法ですべてのジョブを「パック」できるプログラムまたは方法がありますか？

ありがとう

開始後に Hadoop に新しいノードを追加することはできますか? ノードを削除できることは知っています（マスターはノードの状態を監視する傾向があるため）。

PBS/Torque クラスタ ソフトウェアで動作することが知られている DRMAA-API の Java 実装を知っている人はいますか?

この背後にある背景: DRMAA 準拠の API を使用して、Java から新しくセットアップされた Linux クラスターにジョブを送信したいと考えています。クラスターはPBS/Torqueによって管理されます。Torque には、DRMA-C バインディングを含み、libdrmaa.so および .a バイナリで提供される Torque/PBS 用の PBS DRMAA 1.0 ライブラリが含まれています。Sun グリッド エンジンには、Java-DRMAA API を提供する drmaa.jar が含まれていることを知っています。実際、私は SGE を使用することにしましたが、最初に PBS を試すことにしました。

その決定の背後にある理論
は、「DRMAA は標準であるため、Java API は標準に準拠した drmaa-c バインディングのみを必要とする」というものでした。しかし、そのような「一般的な DRMAA-C-java API」を見つけることができなかったので、この仮定は間違っていて、Java ライブラリはエンジン固有のものであると仮定します。

編集: Sun Grid Engine パッケージの drmaa.jar を試し、pbs libdrmaa.so と併用しようとしました。驚くことではありませんが、これは失敗しました (JNI 未解決のリンク エラー)。

結論：そうはいきません！いくつかの検索の後、次のいくつかのオプションのみが表示されます。

1. Globus ツールキットの上に GridWay をインストールします。PBS の上にインストールされた GridWay は、Java で DRMAA を提供すると主張しています。私の設定には複雑すぎるように見えます。
2. DRMAA を破棄し、Java からシステム コマンド qsub、qstat などを呼び出して PBS に提出します。シンプルだけどあまりいいじゃない。

3. drmaa バインディングを自分で実装します。複雑すぎる…

4. Grid Engine に切り替えます。私の意見では、GE は言語バインディングに関して PBS よりも優れています。

オプション 2 または 4 を好む傾向があります。推奨事項はありますか?

Sun Grid Engineで非常に多く（〜30000）のジョブを実行したいと思います。

理論的には、「qsub」コマンドを30000回実行してジョブを送信できます。しかし、それは多すぎるのではないかと思います。

それを行うためのより良い方法はありますか？（つまり、ファイルから）または、それ以外の場合は、それでも機能すると思いますか？

ありがとうございました

Delphi++ を使用していますが、これはまだベータ版で、ドキュメントはあまり良くありません。Delphi++ で作成したライブ アプリケーションをグリッド/クラウドで実行するにはどうすればよいですか? また、クライアントはどのようにして自分のコンピューターでそれを使い始めるのですか?

Ruby On Rails アプリケーションを開発しており、本番環境にデプロイしたいと考えています。使用できる同じ構成の Ubuntu Web サーバーが複数ありますが、複数のホスト間で RoR アプリとデータベース データをスケーリングする方法がわかりません。

各ホストに Web サーバーと db サーバーの両方を配置したいと考えています。

Web サーバー/Ruby ミドルウェア側では、Web サーバー/Ruby ミドルウェア層で負荷分散を行うマスター Web サーバーによってセッションが制御されるようにしたいと考えています。解放されたホストに新しいセッションを渡す必要があります。

Web サーバー/Ruby ミドルウェア側で負荷分散を行う必要があります。Web/ミドルウェア セッションはアトミックである必要があります (複数のホスト間で複製することに興味はありません)。

DB に保存されていないトランザクション データを中間の再実行ログに記録し、障害回復の場合に再実行したいと考えています。

DB 層で:

1 つのホストの DB データを他の 2 つのホストに複製したいと考えています。(各 DB セットには 3 つの DB ホストがあります)

待ち時間が長すぎるため、DB データをすべてのホストにレプリケートしたくありません。

「作成」タイプのリクエストを適切な DB に送信するアルゴリズムを導入したいと考えています。負荷分散が思い浮かびます。

DB マスター コントローラーは、「更新/読み取り/削除」要求のためにどの 3-DB セットに移動するかを認識している必要があります。

私のテスト Web サーバーは webrick で、バックエンド DB は Postgresql です (ただし、これは RoR では問題になりません)。

各トランザクションに sessionId を関連付ける必要があり、失敗後にそのセッションを再ロードする必要がある場合に備えて、やり直しログも保持する必要があると思います。

他にどのような設計上の問題が発生する可能性がありますか? また、単調な作業を行うには、どの Web サーバーと DB サーバーを使用すればよいですか? マスター DB とマスター Web サーバーの適切な選択は何ですか?

これが複数の知識領域にまたがる複雑な問題であることは理解しています。私が求めていることが可能かどうか知りたいです。

GridGain がマルチキャストを介して他のクライアントに接続することはすぐに理解できますが、ローカル ネットワーク外の接続を受け入れるように GridGain を構成する方法はありますか? また、通信の暗号化も有効にする方法はありますか?

グリッド上で実行されるシェルスクリプト（qsubで始まる）をパラメーター化するにはどうすればよいですか？getoptsを使用してパラメーターを読み取るシェルスクリプトがあります。

（qsub script.sh -r firstparam -s secondparam ..）を開始すると、qsubを使用してこの作業スクリプトにエラーメッセージが表示されます。

qsub：無効なオプション-s

qsub：不正な-r値

qsubは、パラメーターがそれ自体のためのものであると考えているためです。しかし、私は解決策を見つけていません。

ありがとう

グリッドコンピューティング環境のRでいくつかの大規模な回帰モデルを実行しています。私の知る限り、グリッドはより多くのメモリとより高速なプロセッサを提供するだけなので、この質問は強力なコンピュータでRを使用している人にも当てはまると思います。

私が実行している回帰モデルには多くの観測値があり、それぞれに多くの（10または100）レベルを持ついくつかの因子変数があります。その結果、回帰は計算集約的になる可能性があります。スクリプトに3つの回帰を並べてグリッドに送信すると、メモリの制約により終了（クラッシュ）することに気付きました。ただし、3つの異なるスクリプトとして実行すると、正常に実行されます。

クリーンアップを行っているので、各モデルの実行後に、モデルオブジェクトを別のファイルrm（list = ls（））に保存してすべてのメモリをクリアし、次のモデルを実行する前にgc（）を実行します。それでも、1つのスクリプトで3つすべてを実行するとクラッシュするようですが、ジョブを分割することは問題ないようです。

システム管理者は、それを分割することが重要であると言っていますが、実行するたびにクリーンアップしているのであれば、理由はわかりません。3 in oneスクリプトは、とにかくそれらを順番に実行します。3つの個別のスクリプトを実行すると機能する理由を誰かが知っていますが、1つのスクリプトですべてのモデルを実行すると、Rでメモリの問題が発生しますか？

ありがとう！EXL

こんにちは、私は IT 分野に非常に慣れていないので、仮想マシンとクラウド コンピューティングの関係を説明してくれませんか。私の会社では、ubuntu eucalyptus tool を使用してプライベート クラウドを使用しています。KVM を使用しています。私がリソースを要求するときはいつでも、仮想マシンはクラウドコンピューティングであり、仮想マシンを提供することを意味し、ネット上でクラウドコンピューティングを研究しているため、別のテクノロジーのように聞こえます。さらに重要なのは、仮想マシンの仕様 (特性) が物理マシンに依存するかどうかです。または、物理マシンに 20 GB のハード ディスクしかない場合に 100 GB のストレージの仮想マシンを作成するなどの仕様を提供できますか? 128 mb の RAM を持っています。この概念を説明してください。皆さんに永遠に感謝します。