2

DSMS はデータ ストリーム管理システムに対応します。これらのシステムにより、ユーザーは、ユーザーによって削除されるまで継続的に実行されるクエリを送信できます。

Storm や Flink などのシステムは DSMS と見なすことができますか、それともより一般的なものですか?

ありがとう

4

1 に答える 1

2

両方のタイプのシステムは、異なるユースケースを解決しようとするため、互いに直交しています。したがって、どれも他のものを包含したり、一般化したりするものではありません。

通常、DSMS は次のとおりです。

  • ストレージとコンピューティングを統合ソリューションとして提供するエンドツーエンドのソリューション
  • 最初に外部データをシステムにインポートする必要があります
  • 多くの場合、DSMS は SQL 指向であるため使いやすいですが、多くの場合、表現力に欠けます。
  • 通常、構造化データ (スキーマ ベースのタプル形式) のみを処理できます。
  • DSMS はしばしばスケーリングしない

ストリーム処理フレームワーク (Flink、Storm、Spark):

  • コンピューティング レイヤーと他のストレージ システムからの消費者データのみを提供する
  • ほとんどが言語組み込み DSL を提供します (SQL をある程度提供するものもあります)
  • あらゆるタイプのデータを処理できます (フラットタプル、JSON、XML、フラットファイル、テキスト)
  • 大規模なクラスター (数百のノード) にスケーリングするように構築する
  • データ処理、機械学習に適しています

ストリーミング プラットフォーム (カフカ)

  • ストレージ層と計算を提供
  • システムにインポートされる限り、あらゆるタイプのデータを処理できます (フラットタプル、JSON、XML、フラットファイル、テキスト)
  • スケーラブルで伸縮自在
  • SQL なし、Java DSL のみ ( Kafka ベースのConfluent Platformは開発者プレビューとしてKSQLを提供します)
  • マイクロサービスを構築するのに非常に適しています
于 2016-11-20T23:44:42.420 に答える