巨大なデータを格納するための Java キャッシング フレームワーク。
コンテキスト:私たちは、Jersey 2.6 を使用して Restful サービスを開発しており、WAS 8.5 にデプロイします。このサービスは、1 日あたり 1,000 万件を超えるリクエストに対応する必要があります。
300k 以上のオブジェクトを格納するためにキャッシュを実装する必要があります (データは DB から取得されます)。また、キャッシュを毎日更新する何らかの方法が必要です。
問題は、キャッシュを分散する必要があるかどうかです。キャッシングはあなたが見たことのあるものであることを忘れないでください。そして、これが役に立つかもしれないチャンスのためにこれを投稿します...まあ、なぜですか。
分散キャッシュ システム: Redis、Cassandra in Memory。メモリ内の MongoDB。
ローカルの RocksDB (バイト [] -> バイト [] を格納できます) と SSD は、優れたローカル キャッシュ レイヤーを作成します。その上に分散レイヤーを追加することもできます。通常、棚からのものよりも優れています。また、実装が容易である必要があります。
1 日あたり 1000 万件のリクエストは多くありません。10 時間で 1Mio / 60 / 60 => 1 秒あたり 3000 リクエストを処理できます。余裕に基づいて、通常は効率的なフロントエンドと効率的なバックエンドを使用できます。1 秒あたり 40,000 ページとコアを実行でき、24 個のコアを使用できます。メモリ内のデータはキャッシュされていません...
Coherence をお勧めするキャッシング プロバイダとして、私は自分の会社で Coherence を使用しています。Coherence は非常に堅牢で、複数のクラスタ間で同期されています。
キャッシュの処理方法に関するその他のポイントについては、アプリケーションの性質に依存します。キャッシュに関する私の経験に基づいて、次のシナリオでキャッシュを更新することにしました。 1. グリッド ページング 2. ブラウジング
キャッシュをクリアして、データを再度リロードすることにしました。
そして、ある種の統計や入れ子になった階層を処理するときに顔に吹き飛ばされるような、やり過ぎの頭痛の種として、キャッシュを維持することにしました。
これがお役に立てば幸いです。
お金があるならコヒーレンスが一番（その評判は大手金融会社が証明しています）
Hazelcast は、使用できる別の分散キャッシュ メモリです。これは、パフォーマンス メトリックに基づくコヒーレンスよりも 1 レベル低くなります。
Cou はehcacheを試すことができます。クエリ キャッシュとして使用することも、休止状態の 2 番目のレベルのキャッシュとして使用することもできます。エンティティが無効になるまでキャッシュに保存する期間を構成できます。
新しい JCache 標準 (Java Community Process の JSR 107) を参照してください。この API は、Coherence およびその他のキャッシング実装 (ehcache など) によって実装され、基本的なユース ケースに使用できる小さな参照実装もあります。
はい、どの Java キャッシング フレームワークも役に立ちます。たとえば、Coherence (注: 私は Oracle で Coherence を使用しています) は間違いなく 3,00,000 アイテムを簡単に処理できます (lakh を使用する場合は、インド出身だと思います!)。サーバ。
すでに WebSphere ND 8.5.5 をお持ちの場合は、付属の WebSphere Extreme Scale をご覧ください。これは、WebSphere と統合する分散型のパーティション キャッシング ソリューションです。詳しくは、 WebSphere eXtreme Scale の概要を参照してください。