問題タブ [gridgain]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
out-of-memory - GridGain メモリ不足例外
GridGain キャッシュに約 600MB のデータをロードしようとしています。RAM の負荷を軽減するためにスワップ領域を使用しようとしています。CSV ファイルからデータを読み込んでいます。最初の 10000 個のキーをメモリにロードし、残りをスワップ スペースにロードします。1350000 個のキーをロードできましたが、その後、次のエラーが発生します。
gridgain - キャッシュメモリのスペースを減らすことはできますか?
私は GridGain の初心者で、キャッシュのヒープ サイズに問題があります。
2.000.000 ~ 3.000.000 行の CSV ファイルがあり、ファイルのサイズは 600 ~ 800 メガバイトですが、このデータを GridGain のキャッシュにロードすると、5 ~ 7 ギガバイトが必要になります。キャッシュ内のデータのサイズを減らすことはできますか? それとも、600メガバイトのファイルを保存するのに5~7ギガバイト必要ですか?
scala - GridGain での Scala ケース クラスのインデックス作成
Gridgain キャッシュのオブジェクトとして Scala Case Classes を使用しようとしています。しかし、私はそれを機能させることができません。Java クラスとまったく同じオブジェクトを作成すると、まったく問題なく動作します。
これは私のテストケースです:
TestData2 ではテストはパスしますが、TestData ではサイズ = 0 のためアサートで失敗します。
ケースクラスでプロパティタイプ(java.lang.Longなど)と注釈の組み合わせのいくつかの組み合わせを試しましたが、何も機能しないようです。ここで何か基本的なことを見逃しているに違いありませんが、私の側で数時間のテストを行っても、明らかにすべてを理解することはできません。
ヒントはありますか?
gridgain - GridGain のカウント クエリ
GridGain にカウント クエリはありますか?
gridgain - GridGain GridSegmentationResolver の実装方法
GridSegmentationResolver を GridConfig に追加しようとしています。しかし、それは呼び出されていないようです。ソース コードを調べてみると、オープン ソースの GridSegmentationProcessor は常に true を返すモック実装であることがわかりました。
問題は、GridGain のオープン ソース バージョンに独自のセグメンテーション処理を追加する方法です。または、エンタープライズ版が必要ですか?
gridgain - Gridgain エラスティック スケーリング - ワーク スチールを希望どおりに動作させることができない
誰かが以前にこれを行ったことがあることを願っています。または、Gridgain がこの機能をサポートしているかどうかをアドバイスできる人がいれば幸いです。
私のユースケースは次のとおりです。
- ワークスティーリングをサポートするように変更された examples/config/example-compute.xml を使用して、Gridgain ノードを開始します (以下を参照)。
- 300 個のタスクをクラスターに送信します。それらは最初のノードで実行を開始しますが、実行に時間がかかるため、未処理のタスクのキューが長くなります。
- 同じ構成を使用して新しいノードを開始し、クラスターに参加するのを確認します
- ノード 2 は最初のノードから作業の一部を盗むべきではありませんか? 残念ながらそうではなく、ノード 2 が何もしない間、ノード 1 ですべてのタスクが完了するのを待つ必要があります。
GridJobStealingCollisionSpi
デバッグ ログをオンにすると、ログに次のメッセージが表示されるので、何かをしていると思います: Thief node does not belong to task topology [...]
. GridJobStealingCollisionSpi
ソースを調べてみると、盗んでいるノードがタスクが送信されたトポロジにあるかどうかを確認していると思います。
私のユースケースが期待どおりに機能しているのを見た人はいますか?
example-compute.xml (ファイル全体は pastebin.com/gGsfEebG にあります) を変更して、以下の構成を追加することでワーク スティーリングをサポートしました。
私の Java クラスは、http: //pastebin.com/AS8iKqjjの Pastebinにあります。実行するための詳細な手順は次のとおりです。
ノードを起動し、5 秒間スリープする 300 個のジョブをクラスターに送信する ComputeSleepExample クラスを実行します。
java -DGRIDGAIN_DEBUG_ENABLED=true -DGRIDGAIN_QUIET=false -cp examples/config:examples/target/classes:examples/target/libs/*:target/gridgain-6.1.9.jar:modules/spring/target/gridgain-spring-6.1.9.jar org.gridgain.examples.compute.ComputeSleepExample 300 5000
新しいノードを開始すると、すべてのジョブがノード 1 で実行されることがわかります
bin/ggstart.sh examples/config/example-compute.xml
amazon-ec2 - Amazon EC2 で Grid gain ノードが自動的に停止する
私は gridgain バージョン 6.1.9 を使用しており、Amazon ec2 でいくつかのノードをセットアップしています。ノードを検出するために tcp 検出を構成しました。ノードは正常に起動し、相互に参加します。しかし、数分後 (約 20 分)、グリッド ゲイン ノードが停止し、メッセージが表示されます。
ソケットのタイムアウトを 30 秒に設定しました。設定を見逃した可能性があるものは他にありますか?