問題タブ [distributed-database]

(潜在的に) 数百 GB のデータ全体でキーと値のルックアップを行う方法が必要です。理想的には、Java とうまく連携する分散ハッシュテーブルに基づくものです。耐障害性があり、オープン ソースである必要があります。

ストアは永続的である必要がありますが、速度を上げるためにデータをメモリにキャッシュするのが理想的です。

複数のマシンからの同時読み取りと書き込みをサポートできる必要があります (ただし、読み取りは 100 倍一般的になります)。基本的に、目的は Web サービスのユーザー メタデータの初期ルックアップをすばやく行うことです。

誰でも何かお勧めできますか？

NoSQLは、リレーショナルデータベースとACID保証の歴史を破る非リレーショナルデータストアを指します。人気のあるオープンソースのNoSQLデータストアは次のとおりです。

• Cassandra（表形式、Javaで記述、Cisco、WebEx、Digg、Facebook、IBM、Mahalo、Rackspace、Reddit、Twitterで使用）
• CouchDB（Erlangで書かれたドキュメント、BBCとEngine Yardで使用）
• Dynomite（Key-Value、Erlangで記述、Powersetで使用）
• HBase（Key-Value、Javaで記述、Bingで使用）
• Hypertable（表形式、C ++で記述、Baiduで使用）
• Kai（Key-Value、Erlangで記述）
• MemcacheDB（Key-Value、Cで記述、Redditで使用）
• MongoDB（C ++で記述されたドキュメント、Electronic Arts、Github、NY Times、Sourceforgeで使用）
• Neo4j（グラフ、Javaで記述、一部のスウェーデンの大学で使用）
• Project Voldemort（Key-Value、Javaで記述、LinkedInで使用）
• Redis（Key-Value、Cで記述、Craigslist、Engine Yard、Githubで使用）
• Riak（Key-Value、Erlangで記述、ComcastおよびMochi Mediaで使用）
• Ringo（Key-Value、Erlangで記述、Nokiaが使用）
• Scalaris（Key-Value、Erlangで記述、OnScaleで使用）
• Terrastore（ドキュメント、Javaで記述）
• ThruDB（C ++で記述され、JunkDepot.comで使用されるドキュメント）
• 東京内閣/東京暴君（Key-Value、Cで記述、Mixi.jp（日本のソーシャルネットワーキングサイト）で使用）

あなた（SOリーダー）がデータストアを使用して解決した特定の問題と、使用したNoSQLデータストアについて知りたいのですが。

質問：

• NoSQLデータストアを使用して解決したスケーラビリティの問題は何ですか？
• どのNoSQLデータストアを使用しましたか？
• NoSQLデータストアに切り替える前にどのデータベースを使用しましたか？

私は直接の経験を探していますので、それがない限り答えないでください。

単一障害点を減らしたいシステムを構築し、データベースが必要です。マルチマスター設定を適切に処理できる (無料の) リレーショナル データベース システムはありますか (つまり、ノードの追加と削除が簡単な場合)、または NoSQL データベースを使用する方が良いですか?

私が理解しているように、キー値ストアはこれをより適切に処理します。マルチマスター (クラスター) セットアップに推奨するデータベース システムはどれですか?

Web クローラーには、InnoDB と MYiSAM のどちらのデータベース エンジンを使用すればよいですか? 2 台の PC があり、それぞれに 1 TB のハード ドライブが搭載されています。1 つがいっぱいになったら、もう一方の PC に自動的に保存したいのですが、読み取りは正しい PC に送られるべきです。それ、どうやったら出来るの？

この要件のすべて (または少なくともほとんど) を満たすデータベースはありますか?

1. グラフ指向 - グラフとトラバーサルを保存するために最適化されています (HyperGraphDB、Neo4j など)
2. メモリ内で実行されますが、永続的なストレージ (Redis など) があります
3. 分散 (例: メンバーベース)
4. .NET アダプター (HTTP REST ではなく TCP/IP) があった

それとも私が求めすぎですか？

前もって感謝します。

私の前の質問に対する答えがないので。要件を満たすカスタムDBを実装することを本当に考えています。

はい、私は知っています、クレイジーに聞こえます。

しかし、どの本や記事などを読むことをお勧めしますか？

それが重要な場合、私のDBの要件は次のとおりです

1. グラフ指向-グラフとトラバーサルを保存するために最適化されています（例：HyperGraphDB、Neo4j）
2. メモリ内で実行されていますが、永続的なストレージがあります（例：Redis）
3. 分散型（例：membase）
4. .NETアダプターがありました（HTTPRESTではなくTCP/ IP）

私は技術的な詳細を探すのではなく、物事が通常どのように行われ、どのような選択肢があるかについての理論的情報のソースを見つけたいだけです。

私は NoSQL のコンテキストでこれを求めています。これは、費用をかけずにスケーラビリティとパフォーマンスを実現します。

では、データベース間で大規模な並列分散コンピューティングを実現する必要があるとしたら、現在 (RDBMS パラダイム内で) 高いスケーラビリティを備えた分散コンピューティングを実現するために利用できるさまざまな方法論は何ですか?

データベースのクラスタリングとミラーリングは、分散コンピューティングに何らかの形で貢献しますか?

分散データベースでのデータ割り当てを最適化する方法は?

この問題を解決するソフトウェア製品はありますか?

例えば：

分散データベース用に接続されたサーバーがいくつかあります。各サーバーは、同時にこのデータベースのクライアントです。

データベースには多くのテーブルがあります。

各クライアントから特定のテーブルへのクエリの統計があります。

サーバーごとにデータストレージの価格があります。サーバーとクライアントの各ペアについて知られている転送の価格があります。

目的: サーバー上のすべてのテーブル (またはテーブルの一部) を可能な限り最適な方法で割り当てること。

この問題を解決するために、さまざまなヒューリスティック アルゴリズムを適用できます: 遺伝的アルゴリズム、進化戦略、アリ アルゴリズムなど。

しかし、これらのアルゴリズムを実装する準備が整ったソフトウェア ツールは見つかりませんでした。

分散データベース (Oracle など) でこの問題を解決するツールはありますか?

誰かがそれを気にしますか？

そして、この方法で最適化された、分散データベースを使用したクエリ統計を備えたシステムの例を誰かが持っているでしょうか?

ありがとう！

私の C++ ターン制ゲーム サーバー (データベースを使用) は、現在のクライアント (プレイヤー) の平均数に対応していないため、複数 (1 つ以上) のコンピューターとデータベースに拡張して、すべてのクライアントが引き続き内部に留まるようにしたいと考えています。単一のゲーム世界 (サーバーは相互に通信し、複数のデータベースを使用する必要があります)。

最良の方法でそれを行う方法を説明するチュートリアル/本/共通の標準はありますか?

次の条件を満たすオープンソースの分散型Key-Valueストレージはありますか。

• ほぼリアルタイムのマルチマスターレプリケーション。（タイブレーカーはタイムスタンプに基づいており、これ以上複雑なものはありません）
• 各ノードは、残りのノードから切断されている場合、そのローカルデータを処理できる必要があります（コンシステントハッシュベースのアプローチは実行できません）。
• 予想されるノードの最大数は最大10です。

以下を評価しました。

• memcachedb
• couchdb
• カサンドラ

そして、上記のものがすべての要件を満たしていないことがわかりました。