問題タブ [grid-computing]

アプリケーションに簡単に組み込むことができる分散コンピューティング プラットフォームを探しています。

MPI (およびその実装の一部) を調査しましたが、私が見たところ、タスクごとに実行可能ファイルを作成する必要があり、それは を使用して起動されmpirunます。私はそれを除外しません。外部の実行可能ファイルとしてではなく、アプリケーションに埋め込んでおきたいだけです (可能な場合)。

SO ユーザーであるあなたは、そのようなフレームワーク (できればオープンソース) を知っていますか? また、私の決心をするために、いくつかの使用例がいいでしょう。

ソリューションが展開される LAN 内のステーションは異種であるため、可能であればクロスプラットフォーム ソリューションに関心があります。

提案や特にコード例は大歓迎です。

eScienceインフラストラクチャと、グリッド コンピューティングまたは分散コンピューティング インフラストラクチャの違いは何ですか? そして、彼らの例のいくつかは何ですか。

それらをはっきりと区別することはできません。グリッドがどのように使用されて e-サイエンス プラットフォームになるのか?

分散システムを構築しています。いくつかのアプリケーションがあります (一部は .Net ベース (C#) で、他は C++ ベース (C++/CLI ではありません!)) です。これらのアプリは、クラスター内の各コンピューターにインストールされます (現在は Windows 駆動)。IPC に使用するローカル PC: C# アプリの MemoryMappedFiles、C++ アプリの共有メモリ、C# と C++ 間の IPC の名前付きパイプ。インターネット経由で、C# アプリを C++ アプリのブリッジとして使用して、WCF TCP バインディングを使用します。

LAN通信は何を使えば良いですか？MPICH2は、TCPを使用しているようです...典型的な名前付きパイプは、最適化（セキュリティを無効にするなど）を使用したWCF TCPバインディングよりも高速ですか？メッセージは非常に大きく、ほとんどが double 型です。私の状況では WCF は非常に便利です (すべての数学的方法は単なる契約です) が、そのパフォーマンスは問題です。

さまざまな種類のプログラムを実行できる分散型ソフトウェア システム (1 台の PC よりも高速にプログラムを実行できるシステム) を作成したいと考えています (これは学校のプロジェクトなので、おそらく Prime finder や Pi などのプログラムを実行します)。その上に電卓）

私の好みは、.NET を使用して C# 用に記述し、優れたドキュメントを用意し、簡単に記述できるようにし (.NET を使用した C# では新しいものではありませんが、私は専門家ではありません)、グリッドのタスクを簡単に記述できるようにすることです。または、プログラムを .exe からネットワークに直接ロードします。

私は少し見てきました：

1. MPAPI
2. Utilify (Alchemy のメーカーから)
3. NGrid (古い?)

私のケースにはどれが最適ですか？それらについての経験はありますか？

ps。ここで同様の質問がたくさんあることは知っていますが、それらは時代遅れであるか、適切な回答がないか、私の質問に答えていないため、もう一度質問することにしました.

qrsh 呼び出しを介して OGS をスポット インスタンスで使用しています。プログラムを適切に動作させるには、システムのシャットダウン (スポット インスタンスの喪失) が原因でジョブがいつ失敗したかを知る必要があります。

ssh 経由でリモート コマンドを実行し、リモート システムがダウンした場合、返される終了コードは 255 です。

私の問題は、OGS では、qrsh を使用してリモート コマンドを実行し、リモート システムがダウンしたときに返される終了コードが 0 であることです。0 は、「OK、すべて正常」を意味します。したがって、そのコードから、いいえ、大丈夫ではなく、再スケジュールする必要があることを知る方法はありません。

(もちろん、特定のコードを返すようにリモート呼び出しを変更することもできますが、それは標準ではないため、むしろ避けたいと思います。)

私の知る限り、答えはノーです。OpenCLはマルチコアシステム用に設計されています。

しかし、マルチコンピューターでOpenCLを使用する方法はありますか（各コンピューターはマルチコアシステムです）？そうでない場合は、追加のツール、フレームワーク...が必要ですか？

分散コンピューティング、クラスターコンピューティング、グリッドコンピューティングに関する記事をいくつか読みましたが、満足のいく答えが見つかりません。

任意のアイデアをいただければ幸いです

ありがとうございました ：）

パフォーマンスに基づいてクラウドコンピューティングとグリッドコンピューティングがどのように異なるか。たとえば..私はローカルグリッドとクラウドサービスを持っています..パフォーマンスが私の唯一の基準である場合、どちらを使用するのが良いでしょう!! クラウドコンピューティングとグリッドコンピューティングで多くの違いを経験しましたが、パフォーマンスの問題に関して重要なことは何も見つかりませんでした。

PS：-私はクラウドコンピューティングに少し慣れていません

Twitter ストリーミング API からツイートをダウンロードするためのプラットフォームを作成するよう依頼されました。基本的な考え方は、何をダウンロードするか (キーワード) とデータをシリアル化する方法に関する情報を含むタスクを生成するコントローラーを用意することです。このタスクはリモート サーバー (同じまたは別のネットワーク) に送信され、タスクが実行され、定期的にツイートが DB に保存されます。私が必要とするのはこれです：

• コントローラー: Fetchers にタスクを送信するには、Fetchers との接続が必要です。すべてのフェッチャー接続を検証する必要があります。
• Fetcher:タスク キーワードに基づいて、Twitter ストリーミング API からツイートを取得する必要があります。フェッチャーごとに 1 つのタスクのみ。手動で登録する必要はありません。それを実行して、受け取ったタスクを実行するだけです。
• DB:ツイートの JSON を定期的に保存する必要があります。多くのフェッチャーがあるため、ボトルネックを回避するために何かが必要です。

そうは言っても、私が探しているのは、これを実装する方法についての良い考えです。現在、検証プロセスに SSLSockets を使用しています。この後、ソケットを閉じ、RMI を使用してフェッチャーを公開し、サーバー (コントローラー) にレジストリを保存します。それは機能しています...多かれ少なかれ...しかし、このようにするのが良い考えかどうかはわかりません。

分散コンピューティング プラットフォームを実装する方法について何か考えはありますか? 何を使えばいいですか？

ありがとうございました。

Hadoop は実際には 1 つの物理的な場所にあるクラスターでのみ動作するように設計されており、多数の広く分散したノード (複数のサイトからインターネット経由で分散クラスターを実行するなど) では動作しないことを示唆するいくつかの記事を読みました。

複数のサイトで Hadoop を使用しようとした実際の経験がある人はいますか? どのような問題が発生しますか? それとも、別のフレームワーク (BOINC など) を使用する方がよいのでしょうか。