0

さまざまな Azure データ ストレージのフレーバーに関する情報がたくさんありますが、特定のシナリオについてアドバイスをお願いしたいと思います。

Azure テクノロジ、特に Service Bus/Event Hubs とデータ ストレージ プラットフォームに精通するためのペット プロジェクトをまとめています。私が作成したいシステムは非常に単純です: イベントの適度な負荷 (IoT スケールではない) を受け入れ、それらを保持し、「ユーザー A は過去の日/週/月/中にタイプ X の N 個のイベントを持っていた」などの集計データを利用できるようにします。等。' レポートとして。

データが非常に構造化され (ユーザー、ユーザー グループ、イベントなど)、集計機能が必要になることを考えると、リレーショナル ストレージが最も適している可能性がありますが、費用は高くなります。

私が検討したもう 1 つの代替案は、ストリーム分析などを使用してほぼリアルタイムで集約データを維持することですが、これがデータ ウェアハウス風のソリューションと比較してやり過ぎかどうかはわかりません。

任意の提案/ヘルプをいただければ幸いです。

ジョン

4

2 に答える 2

3

ジョン、

Azure SQL はまともな選択ですが、それが高すぎることが判明した場合は、VM でホストされる通常の SQL です。Azure Service Bus を作成して着信要求を保持し、1 つ以上の worker ロールで競合するコンシューマーを作成して、メッセージを監視および処理できます。各コンシューマーは、SQL を実行し、作成されて呼び出し元用に "事前に集計" された新しいテーブルにデータを永続化できます。または、レポート ツール (JSON など) に一致する構造化された形式で Azure BLOB ストレージに情報を永続化することもできます。 . 集約された情報の BLOB ストレージは、最も費用対効果が高く、SQL の負担を軽減します。

代替手段は、バッチ処理モードでも情報を集約できる HDInsight です。SQL/HDInsight のどちらを選択するかは、基本 (非集計) 情報のネイティブ形式に依存すると思います。

于 2015-11-12T14:47:20.910 に答える
3

私はダニエルに同意します。SQL Azure は、リレーショナル データのニーズを満たすための方法かもしれません。ストリーミングと分析のためのより大きなワークロードを調査する別のオプションは、Azure Data Lake ( https://azure.microsoft.com/en-us/solutions/data-lake/ )です。

于 2015-11-12T23:52:41.173 に答える