問題タブ [ignite]

ignite.sh スクリプトを使用してサーバーを起動しようとすると、上記のエラーが発生します (HadoopV2Job の読み込みに失敗しました)。"config/default-config.xml"CommandLineStartup に渡され、変更されていません。

誰かがこの問題に遭遇しましたか、または誰かがそれを修正する方法を知っていますか?

私の Ignite バージョンは 1.4.0 で、完全なスタック トレースは次のとおりです。

テキスト ファイル内の単語をカウントする、Java で記述された既存の Spark Streaming プロジェクトに Apache Ignite を統合しようとしています。ただし、ignite-spark の依存関係を追加すると、Class Not Found エラーが発生します。

ここに私のpom.xmlファイルがあります:

POM で Spark と Ignite の順序を切り替えようとしましたが、JUnit テストを実行しようとするとエラーがスローされます。ここに私が実行しているテストがあります:

Ignite と Spark Streaming の両方を同じプロジェクトに含めることはできますか? 依存関係がありませんか? 私は何か間違ったことをしたか、ステップを逃しましたか?

あなたが提供できるヘルプやガイダンスは大歓迎です!

Apache ignite を spark と統合しようとしていますが、Apache ignite は初めてです。分散キャッシュにデータを保存して取得したい。

Spark でファイルをロードし、Apache Ignite の sharedRDD.savePairs(key,value) でキャッシュに保存しようとして、データフレームを作成しました。キーは文字列型で、値は Spark データフレーム型です。次に、保存されたデータを取得して印刷したいと思います。実際にデータフレーム型で保存されているかどうかさえわかりません。

私はこのチャートを持っています：

ボタンを押して、表示されているものを印刷します。

この問題の適切な解決策をお勧めします。そして、これがコードです。

よろしくお願いします

Apache Ignite を使用して AWS Lambda のようなものをオンプレミスで実装することは可能でしょうか? つまり、AWS Lambda と同じように Ignite で分散型クロージャーを使用することはできますか?

実行時のクロージャーのバージョン管理/更新はどうですか? また、依存関係を含む jar にクロージャをパッケージ化して (FatJar/UberJar/ShadowJar など)、リモート ノードに配布するにはどうすればよいでしょうか?

Hibernate、Spring、PostgreSQL、MongoDB、Neo4j、ElasticSearch を Hibernate L2 および Spring Cache 用の EhCache と連携させたシステムがあり、うまく機能します。

Ignite をテストしていますが、Hibernate L2 に Ignite を配置するとシステムが非常に遅くなりました (Spring Cache は高速に動作します)。JProfiler を配置して何が本当に遅いかを確認したところ、次のメソッドが非常に遅いことがわかりました。

これは私にはあまり意味がありません。https://github.com/apache/ignite/pull/388で Branch 1.5.1-2 の Ignite 1.5.1.final-SNAPSHOT を使用しています(Hibernate L2 のキャッシュを自動的に作成するように変更しました)。 1.4.0 でテストしましたが、問題は同じです。

Ignite の構成:

}

}

Apache ignite を使用してデータをキャッシュにプッシュするために、scala で記述されたサンプル Spark アプリケーションがあります。私の知る限り、アプリケーションを実行するには ignite.sh を開始する必要があります。しかし、ignite が開始されていない場合、アプリケーションは永遠にハングアップします。デフォルトの ignite 構成を変更しようとしましたが、役に立ちませんでした。

ignite ノードが開始されていないときにアプリケーションを強制終了する方法はありますか?

Ignite がデータ グリッド内のオブジェクトのプロパティの変更をリッスンし、そのオブジェクトに対して何らかの操作を実行する必要があるユース ケースを調査しています。パフォーマンスのために、データがあるノードと同じノードで処理を実行したいと考えています。

• オブジェクトのプロパティが特定の値に変更されたときにイベントを取得するにはどうすればよいですか (たとえば、オブジェクト ' ' には ' ' から ' 'に設定されXたプロパティ ' ' があります)、イベントのみがノードから取得されるようにするにはどうすればよいですかオブジェクトはどこに住んでいますか？statescheduledcreated

• イベントを取得して処理を開始したときに、処理が完了するまで (つまり、イベントが取得されるとすぐにトランザクションが開始されるまで) 誰もオブジェクトを変更しない (読み取りのみが許可される) ことを確認するにはどうすればよいですか?

• 処理コードがすべてのノードにデプロイされ (処理はステートレス)、ローカル データでのみ動作するようにするにはどうすればよいですか (データ オブジェクトとコードの間にハード リンクがない、つまり、処理コードが更新された場合)。未来、オブジェクトは手付かずのままです)

ドキュメントから得たものは次のとおりです。

• CODEブロックで; state' ' の変更を確認する必要がありevt.newValue()ます。それをもっと早く行うことはできませんか? すなわち。何とかlocalListenへのパラメータとして？

• ブロックでは、CODE結果を返すまでオブジェクトはロックされていますか? 言い換えれば、誰もオブジェクトを変更できず、オブジェクトを安全に変更できると確信しているのはここですか? IMOハンドラークラスではなく、「述語」定義でそれを行うのは奇妙な場所です。

スヴェン