私はストリーム処理のために Esper (および Storm) を見てきました.Esper はまさに私が望むことをしているようです..つまり、ローリング手段、中央値、複雑なクエリなど...しかし、1 つのことが疑問に思っています。
Esper を使用して複数のインスタンスにスケールアウトするにはどうすればよいですか?
私の知る限り、Storm は分散処理を処理しますが、Esper では自分で処理します。
近い将来、私はそれを行う必要はありませんが、私たちが成長するにつれて、データ量も同様にスケールアウトする必要があります. ほとんどの場合、Amazon EC2 にデプロイされます。
Esper アプリケーションにデータを送信する前に、複数のサーバーとシャード データを実行する必要がありますか?
それを処理するより優雅な方法はありますか？
-サジャル
ボルト内でEsperインスタンスを実行できます。つまり、Stormはタプル/イベントフェデレーションを処理し、Esperは特定のボルトで受信したイベントのCEPを処理します。
これには、ストームボルトへのEsperの埋め込みに関するコードと情報が含まれています：http： //tomdzk.wordpress.com/2011/09/28/storm-esper/
ただし...データのサブセットを処理する比較的ステートレスなEsperエンジンをサポートするユースケースが必要です。
例：都市ごとの1日の平均気温を計算しています。都市フィールドに基づいてshuffleGroupingを使用してタプルを配布しない場合、各エスパーボルトは都市ごとに異なるデータセットを持つ可能性があります。
基本的に、このアーキテクチャにコミットする前に、Stormトポロジでデータがどのように分散されるかを必ず確認してください。
あなたの質問から、EsperHAは関連しているように見えますか? あなたはそれを見ましたか？
EsperHA は、ゼロ ダウンタイム ESP/CEP イベント処理のための完全なソリューションです。Esper をローカルのインメモリ キャッシング、ディスクまたはデータベースへの回復力のあるオーバーフロー、およびホット バックアップ機能を備えたクラスター構成と組み合わせます。