real-time - 生の半構造化データを入力として使用できるリアルタイム コンピューティング ソリューションは何ですか?

Question

生の半構造化されたスキーマのないビッグデータ入力 (HDFS や S3 など) を取得し、ほぼリアルタイムの計算を実行し、BI ツールにクエリまたはプラグインできる出力を生成できるテクノロジはありますか?

そうでない場合、少なくとも来年か 2 年以内のリリースに向けて取り組んでいる人はいますか?

Answer 1

大きな半構造化入力とクエリ出力を使用するソリューションがいくつかありますが、通常は

1. 個性的

2. 高価な

3. 十分に秘密

ニューラルネットワークやエキスパートシステムを使用した直接計算を回避できる場合は、低遅延システムに十分に近づくことができます。必要なのは、問題のモデルを作成する優秀な数学者のチーム、コードでそれを実現するプログラマーのチーム、およびサーバーを購入してサーバーに必要な入出力チャネルを取得するための現金だけです。

Answer 2

Splunkをご覧になりましたか? これを使用して Windows イベント ログを分析し、Splunk はこの情報に優れたインデックスを作成して、データに表示される文字列のクエリを高速に実行できるようにします。