特定のユースケースで Apache Ignite を評価しています。Ignite 内のキャッシュに 50 GB のデータをロードしようとしています。私はCSV形式のデータを持っています。現在、Java プログラム内のデータを Java Bean の形式で読み取り、Ignite のストリーマー API を使用してキャッシュに Bean を追加しています。別のアプローチ/オプションを探しています。
- Ignite には、並列化された方法 (CSV の読み取りとキャッシュへの書き込みの両方) で CSV ファイルのデータを一括ロードするために使用できる、すぐに使用できる機能はありますか?
- Java のクライアント プログラムでストリーマー API を使用してデータをロードしているときに、約 600MB のデータが追加されるとストリーマー オブジェクトが閉じられ、クライアント ノードがクラッシュし、続いて他のノードがクラッシュします。500MB のデータを処理している間、データの読み込みは正常に機能しました。各サーバーで 3 つの物理ノード クラスターと 2 つの Ignite ノード インスタンスを使用しています。
どんな提案も役に立ちます。