gridgain - キャッシュメモリのスペースを減らすことはできますか?

Question

私は GridGain の初心者で、キャッシュのヒープ サイズに問題があります。

2.000.000 ～ 3.000.000 行の CSV ファイルがあり、ファイルのサイズは 600 ～ 800 メガバイトですが、このデータを GridGain のキャッシュにロードすると、5 ～ 7 ギガバイトが必要になります。キャッシュ内のデータのサイズを減らすことはできますか? それとも、600メガバイトのファイルを保存するのに5~7ギガバイト必要ですか?

Answer 1

メモリ消費に影響を与える可能性のあるものは次のとおりです。

1. 構成されたバックアップの数。たとえば、1 つのバックアップが構成されている場合、クラスターに必要なメモリ量は 2 倍になります。
2. インデックス - データのインデックスを作成する場合、インデックスには追加のスペースが必要です。
3. オブジェクトがシリアル化された形式と逆シリアル化された形式の両方で格納されている場合は、余分なスペースが必要になります。

同じデータを ConcurrentHashMap にロードし、そのために必要なメモリ量を確認するのが良いテストになると思います。GridGain のような分散トランザクション キャッシュでは、バージョニングやロックなどによって占有されるスペースがあると言えます。したがって、分散キャッシュに必要なメモリ量は、単純な ConcurrentHashMap に必要なスペースの約 2 倍または 3 倍になるはずです。