問題タブ [nosql-aggregation]

クライアントからイベントを受信し、これらのイベントの一部が論理的に関連している (単一のセッションに属している) ユース ケースがあり、タイムスタンプに基づいてイベント間に明確な順序があります。

ここで、特定のグループの最後のイベントがタイムスタンプの昇順で受信されるまでイベントを集計し続けるソリューションを構築したいと考えています。そのため、順序どおりでないイベントが受信された場合は、それらの前のイベントが受信されるまで保留する必要があります。次に、その特定のグループのキーに基づいて、HBase などのデータ ストアに格納します。

問題は、そのような不完全なグループの数が一度に数百万になる可能性があることです。不完全なグループへの高速な追加と、受信したイベントを順序付けされていない状態で保持できるものが必要になります。これについてどうすればよいですか？

私は Redis を初めて使いましたが、現在、統計アプリケーションを改善するのに問題があります。統計を生成するための現在の SQL は次のとおりです。

SELECT MIN(created_at), MAX(created_at) FROM table ORDER BY id DESC limit 10000

MINフィールドからMAX値を返しcreated_atます。

Redisについて読んだことがRANGEありSCORINGますが、この問題を解決するために使用できるようです。SCORINGしかし、最後の10000レコードについてはまだ混乱しています。それらを使用してこの問題を解決できますか、または Redis を使用してこの問題を解決する別の方法はありますか?

よろしく

必要な結果を返すための適切な集約パイプ操作を理解するのに苦労しています。

次のようなコレクションがあります:-

そして、これはこれまでの私の集計です: -

これは、一致する映画のレビューを持っている作家と、映画をレビューした作家が少なくとも 1 人いる Web サイトのみを返します。ただし、すべての作家のリストを含むすべての Web サイトを返す必要があります。彼らは指定された映画のレビューを書いていません。

だから、私は現在得ています: -

私が実際に必要なとき： -

誰かが私を正しい方向に向けることができますか?

乾杯

私は NoSQL のどこが優れているかを理解しようとしていましたが、最終的に Martin Fowler によるこのビデオにたどり着きました。

なぜ彼はそう言うのですか？

SQL またはリレーショナル データベースで、大規模なクラスターでの作業に適さない理由は何ですか?

これを修正し、クラスターで実行したときに効率的にするために NOSQL が行ったことは何ですか?

次のことを想像してください。

「ユーザー john には 5 分間のダウンタイムがありました」という停止レポートを作成したいと考えています。私は今、完全に暗闇の中にいます。集約とmapReduceを掘り下げましたが、必要な方向を指しているようには見えません。プレーンなjavascriptを使用して解決できましたが、MongoDBはそのような種類の集約用に作られているため、それを避けたいと思っています. たぶん、私は頭の中で立ち往生していて、しばらく休ませる必要があるかもしれませんが、誰かが私にとって良い解決策を持っているかもしれません.

したがって、最良の出力は次のようになります(推測します):

この「最適な」例に加えて、新しいサーバー バージョンを展開するときに、切断がシステムによって飲み込まれる場合があります。それらは約10秒ですが、簡単にするためにそれらを除外することを考えています.