java - 分散型キー値ルックアップシステムが必要

Question

(潜在的に) 数百 GB のデータ全体でキーと値のルックアップを行う方法が必要です。理想的には、Java とうまく連携する分散ハッシュテーブルに基づくものです。耐障害性があり、オープンソースである必要があります。

ストアは永続的である必要がありますが、速度を上げるためにデータをメモリにキャッシュするのが理想的です。

複数のマシンからの同時読み取りと書き込みをサポートできる必要があります (ただし、読み取りは 100 倍一般的になります)。基本的に、目的は Web サービスのユーザーメタデータの初期ルックアップをすばやく行うことです。

誰でも何かお勧めできますか？

score 12 · Accepted Answer

Hazelcastをチェックしてみてください。分散/パーティション化され、超軽量で、簡単で無料です。

java.util.Map map = Hazelcast.getMap ("mymap");
map.put ("key1", "value1");

よろしく、

-タリップ

score 8 · Accepted Answer

Open Chordは、Java での CHORDプロトコルの実装です。これは、ニーズに完全に適合する分散ハッシュテーブルプロトコルです。

score 2 · Accepted Answer

2

ユースケースによっては、Terracottaが必要な場合があります。

于 2008-10-15T01:11:52.580 に答える

score 1 · Accepted Answer

おそらく、永続的である必要があるかどうか、メモリ内にあるかどうかなどを指定する必要があります。試すことができます：http://www.danga.com/memcached/

score 0 · Accepted Answer

nmdbはまさにあなたが必要としているもののように聞こえます。永続的なオンディスクストレージを備えた、メモリキャッシュ内の分散。現在のバックエンドには、qdbm、berkeley db、および（最近、開発者への簡単な電子メールの後に追加された）tokyoキャビネットが含まれます。キー/値のサイズには制限がありますが、TICPサポートが必要ない場合は解除できると思います。

score 0 · Accepted Answer

OpenChordは有望に聞こえます。しかし、 BDBやその他のSQL以外のハッシュテーブルも検討します。分散させるのは非常に簡単です（少なくともストレージノードの数が（ほぼ）一定の場合）、クライアントのキーをハッシュして取得するだけです。適切なサーバー。

score 0 · Accepted Answer

Redissonから分散 Map 構造を試してください。これはRedisサーバーに基づいています。Redis クラスター構成を使用すると、データを 1000 台のサーバーに分割できます。

使用例:

Redisson redisson = Redisson.create();

ConcurrentMap<String, SomeObject> map = redisson.getMap("anyMap");
map.put("123", new SomeObject());
map.putIfAbsent("323", new SomeObject());
map.remove("123");

...

redisson.shutdown();

score 0 · Accepted Answer

Java でのオープンソースキャッシュソリューション

Oracle Coherence (以前は Tangosol)

JCache JSR

score 0 · Accepted Answer

分散ハッシュテーブルには、Tapestry、Chord、および Pastry が含まれます。これらのいずれかがニーズに合うはずです。

score -1 · Accepted Answer

DNS にはこれを行う機能があります。各レコードがどのくらい大きいかはわかりませんが (8 GB の小さなデータが 8 GB ?)、うまくいくかもしれません。

java - 分散型キー値ルックアップ システムが必要

10 に答える 10

Related

Reference

java - 分散型キー値ルックアップシステムが必要