1

一連のストリームからのデータを処理し、他のストリームから独立して各ストリームに同じ精緻化を適用する必要があります。

私はすでに storm のようなフレームワークを見てきましたが、各ユーザーからのデータを個別に処理する必要がある一方で、静的ストリーム (つまり、Twitter からのツイート) のみを処理できるようです。

私が言いたいことの簡単な例は、各ユーザーが自分の GPS 位置を追跡し、平均速度、加速度、消費カロリーなどの統計をリアルタイムで見ることができるシステムです。もちろん、各ユーザーには独自のストリームがあり、システムは各ユーザーのストリームを個別に処理する必要があります。これは、あたかも各ユーザーが自分のデータを処理する独自の専用トポロジを持っているかのようです。

ストーム、スパーク ストリーミング、サムザなどのフレームワークでこれを実現する方法はありますか?

再利用したいコードがたくさんあるので、Python がサポートされていればさらに良いでしょう。

ご助力ありがとうございます

4

3 に答える 3

0

タプルにユーザー ID がある場合、Storm を使用すると、フィールド グループ化接続パターンを使用してデータをグループ化できます。これにより、データがユーザー ID によって分割されるため、論理サブストリームが得られます。単一のボルト インスタンスが処理のために複数のグループを取得するため、コードは複数のグループ/サブストリームを処理できる必要があるだけです。しかし、Storm は確実にユース ケースをサポートします。また、Python コードを実行することもできます。

于 2015-06-17T09:35:45.937 に答える