問題タブ [cluster-computing]

クラスター グループのステータスを追跡するクラスター対応アプリケーションを作成したいと考えています。

具体的には、グループの所有者を調べたいと思います。アプリケーションは、ローカル マシンがグループの所有者であるかどうかを認識し、それに応じて動作する必要があります。

そのためにレジストリを調べることはできますか? はいの場合、どこですか？そうでない場合、誰かがこの情報を提供する win32 API 呼び出しを知っていますか?

どうもありがとう、

提供する

ローカルシステムユーザーを使用しようとしましたが、ネットワークにアクセスするための権限がありません。ネットワークサービスアカウントはトリックを行いますか？、そうでない場合、どのユーザーを使用することをお勧めしますか？

私の知る限り、SQL Server は可用性を向上させるための 4 つの手法を提供しています。

要約すると、これらは主な使用シナリオだと思います:-

1) レプリケーションは、主にオンラインとオフラインのデータ同期シナリオ (ラップトップ、モバイル デバイス、リモート サーバー) に適しています。

2) ログ配布を使用して、手動で切り替えるフェールオーバー サーバーを使用できます。

3) データベース ミラーリングは自動フェールオーバー技術です。

4) フェールオーバー クラスタリングは、高度なタイプのデータベース ミラーリングです。

私は正しいですか？

ありがとう。

一度セットアップすると、1 か所にログインするだけで、すべてのハード ドライブが 1 つにまとめてマウントされるクラスタリング/負荷分散ソフトウェア (無料または商用) を知っている人はいますか?

たとえば、現在、www.myurl.com/cpanel にアクセスしてアクセスする 1 つのサーバーがあり、1 つのハード ドライブが表示され、そこにすべての Web サイト ファイルをアップロードします。

ロード バランサーを使用して 100 台の Linux または Windows サーバーを相互に接続し、それらをクラスターとして実行したい場合、www.myurl.com/cpanel にアクセスしてログインすると、複数のハード ディスクが表示されないソフトウェアはありますか?ドライブですが、代わりにすべてのハードドライブの合計容量が表示されるので、1 つのファイルをアップロードするだけで、すべてのハードドライブに自動的にアップロードされますか?

このようなソフトウェアが現在利用できない場合、このようなプログラムを作成できると思いますか? または、ウェブサイトにファイルを配置し、ウェブサイトの訪問者がそれをダウンロードし、ファイルを実行してインターネットに接続すると、インターネット接続がウェブサーバーの一部になるソフトウェアがありますか?データと CPU の使用量は Web サーバーからのもので、一部のデータと CPU の使用量はファイルをダウンロードしたユーザーからのものですか?

非常に大量のデータ (数百万のファイル、テラバイトのデータ) を SQL クラスターに移行する必要があります。移行プロセスは毎週の移行に分割され、毎週数百人の新規ユーザー (リクエスト ジェネレーター) が移行されます。

これまでのところ、物事はかなり順調に進んでいますが、最近、SQL クラスターが非常に奇妙な動作をし始めていることがわかりました。CPU 使用率は約 20% で健全で安定していますが、SQL プロセスは、何もなくなるまで (約 12GB) 新しいメモリを常に割り当てています。これが発生すると、プロセスはすべてのメモリを「ダンプ」し、新たに 12GB に向かって上昇し始めます。このダンプ中に、サーバーが応答しなくなり、最終的にタイムアウトになることがよくありますが、この数週間の移行中には発生しません。

この割り当てとダンプの動作は、SQL クラスターで一般的ですか? これが決して起こらないように、または少なくともデータベース全体を混雑させないように構成することは可能ですか? 大規模な移行ジョブの経験がある人はいますか?

イベント ログを調べたところ、タイムアウトの前に WMI 警告が表示されていました。System Center Operations Manager 2007 を使用してシステムを見落としていますが、これがこの動作を説明できますか?

助けてくれてありがとう！

上限数万リクエスト/秒で 60,000 -> +90,000 リクエスト/秒を見たいです。

私のセットアップは次のもので構成されています。

ユーザー ---> Web アプリ --> メッセージ キュー --> パーサー --> データベース?

パーサーは現在、COPY を使用して約 18750 レコード/秒を解析/詰め込むことができるため、パーサーを追加し始めるまではその範囲に制限されていることに言及する必要があります。これは今のところ大きな懸念事項ではありません。

できるだけ多くのレコードをできるだけ早く一括アップロードする機能を必要とするシステムがあります。この同じシステム (またはアプローチ方法によって異なる場合があります) は、次のような分析タイプのクエリに応答できる必要があります。

.....別のテーブルにキーオフされているため、(ユーザーごとに) 10 ～ 15,000 回。言うまでもなく、これらの結果は今のところ 10/ページでページ分けされています。

私は以下を見てきました：（これらはすべて同じサーバー上にあると仮定します）

• mysql (reg. run of the mill rdbms) -- 15 ～ 20,000 リクエスト/秒の範囲に入ることができました。現在の状況では、これをスケールアウトしようとすると、スケールする必要があるたびに別のホスト/データベースが必要になります。これは実行できません。

• couchdb (ドキュメント指向のデータベース) -- 700 リクエスト/秒を超えませんでした。これが私たちのお尻を救うことになることを本当に望んでいました-チャンスではありません！

• vertica (列指向のデータベース) -- 1 秒あたり 60000 リクエストに達していました。クローズド ソースで、非常に高価です。これはまだオプションですが、個人的にはまったく好きではありませんでした

• tokyocabinet (ハッシュベースのデータベース) -- 現在、1 秒あたり 45,000 回の挿入と 1 秒あたり 66,000 回の選択が行われています。昨日これを書いたとき、毎秒約 5555 リクエストで動作する FFI ベースのアダプターを使用していました。これは私が今まで見たデータベースの中で群を抜いて最速です!!

• terracotta -- (vm クラスタ) 現在 jmaglev と一緒にこれを評価しています (maglev 自体が出てくるまで待ちきれません) -- これは最も遅いです!

たぶん私はこの問題に間違ったアプローチをしているだけかもしれませんが、RDBMS は非常に遅いといつも聞いていました。

試験条件::

私の開発ボックスの仕様は次のとおりです。

Mysql mysql.cnf の編集は次のとおりです。

更新::

テラコッタは私たちのアプリケーション構造にあるかもしれませんが、速度がひどく、ヒープの使用率が悪いため、すぐにデータベースを置き換えることはありません.

一方、tokyocabinet の NON-FFI ruby​​ ライブラリ (tyrant/cabinet を意味する) が超高速で、現在 1 位であることは非常に嬉しかったです。

Oracle Application Server (OAS) の 2 つのインスタンスがクラスター化され、セッションが複製されています。プロセスを強制終了してインスタンスの 1 つを終了すると、他のインスタンスがセッションを取得して保持します。すべてが期待どおりに機能します。OAS の 1 つのインスタンスを (opmn stopall を使用して) 正常にシャットダウンすると、HttpSessionDestroyedEvent イベントが発生し、情報が削除されるため、アプリケーションが正常にフェールオーバーしません。これは、クラスター化された環境での私の最初の経験であり、これが一般的であるかどうかに興味があります. サーバー インスタンスが停止すると、クラスタ化されていない環境で HttpSessionDestroyedEvent イベントが発生することはわかっていますが、ここでは正しくないようです。1 台のサーバーで何らかのメンテナンスを行うにはどうすればよいでしょうか? HttpSessionDestroyedEvent イベントの発生元である Spring Framework を使用しています。

シェアード ナッシング アーキテクチャとマルチバージョン同時実行制御を使用して、分散データベース システムを作成する予定です。冗長性は、非同期レプリケーションによって実現されます(システム内のデータが一貫している限り、障害が発生した場合に最近の変更を失うことは許されています)。データベース エントリごとに、1 つのノードにマスター コピーがあり (そのノードだけが書き込みアクセス権を持っています)、さらに 1 つ以上のノードにスケーラビリティと冗長性のためにエントリのセカンダリ コピーがあります (セカンダリ コピーは読み取り専用です)。 . エントリのマスター コピーが更新されると、タイムスタンプが付けられ、最終的にエントリの最新バージョンを取得できるように、セカンダリ コピーを持つノードに非同期で送信されます。マスター コピーを持つノードはいつでも変更できます。別のノードがそのエントリを書き込む必要がある場合、マスター コピーの現在の所有者に、そのノードにそのエントリのマスター コピーの所有権を与えるように要求します。

最近、クラスター内のノードがダウンしたときにどうするか、フェイルオーバーにどの戦略を使用するかについて考えています。ここにいくつかの質問があります。少なくともそれらのいくつかに代わる利用可能な代替案を知っていただければ幸いです。

• 分散システムでフェイルオーバーを行うためのアルゴリズムは何ですか?
• 分散システムのコンセンサスにはどのようなアルゴリズムがありますか?
• クラスター内のノードは、ノードがダウンしていることをどのように判断する必要がありますか?
• 他のノードがそれらのエントリを回復できるように、ノードはどのデータベース エントリが障害発生時に障害ノードにマスター コピーを持っていたかをどのように判断する必要がありますか?
• どのノードがいくつかのエントリの最新のセカンダリ コピーを持っているかを判断する方法は?
• どのノードのセカンダリ コピーを昇格させて新しいマスター コピーにするかを決定する方法は?
• ダウンしたはずのノードが突然何事もなかったかのように戻ってきた場合、どのように対処しますか?
• ネットワークが一時的に 2 つに分割され、双方がもう一方の側が停止したと考えるスプリット ブレイン シナリオを回避するにはどうすればよいでしょうか?

マルチスレッドプログラムとマシン間通信に依存するプログラムの違いを理解しています。私の問題は、「C」で書かれた素晴らしいマルチスレッドプログラムがあり、8コアマシンで非常にうまく機能することです。より多くのコアにアクセスするために、このプログラムをクラスターに移植する機会があります。pthreadのものを取り除いてMPI（私が使用したことのないもの）を改造することは努力する価値がありますか、それともすべて（またはそのほとんど）を最初から再コーディングする方が良いですか？私たちがCに「行き詰まっている」ので、言語を大幅に変更することはできません。