問題タブ [azure-stream-analytics]

Microsoft Azure にアクセスしようとしています。そのために、以下で説明するデモアプリケーションをセットアップしました

https://azure.microsoft.com/de-de/documentation/articles/iot-hub-csharp-csharp-getstarted/

ここで、ストリーム分析を試してみたいと思います。そのために、入力を構成し、IoT Hub をリッスンし、出力を DB に書き込みます。

Stream Analytics ジョブを開始するたびに、次のようなエラーが発生しました。

何故ですか？私はここで何を逃したのですか？

ウィンドウが空の場合、「ウィンドウごとのグループ」式を使用して、ストリーム分析クエリから出力を生成することは可能ですか?

たとえば、この例では、クエリは次のとおりです。

SELECT System.Timestamp as WindowEnd, SwitchNum, COUNT(*) as CallCount FROM CallStream TIMESTAMP BY CallRecTime GROUP BY TUMBLINGWINDOW(s, 5), SwitchNum

出力を生成します：

• 2015-04-15T22:10:40.000Z 英国 1
• 2015-04-15T22:10:40.000Z 米国 1
• 2015-04-15T22:10:45.000Z 中国 1
• 2015-04-15T22:10:45.000Z ドイツ 1
• 2015-04-15T22:10:45.000Z イギリス 3
• 2015-04-15T22:10:45.000Z 米国 1
• 2015-04-15T22:10:50.000Z オーストラリア 2
• ...

次のようなものを生成することは可能ですか:

• 2015-04-15T22:10:40.000Z 中国 0
• 2015-04-15T22:10:40.000Z ドイツ 0
• 2015-04-15T22:10:40.000Z 英国 1
• 2015-04-15T22:10:40.000Z 米国 1
• 2015-04-15T22:10:40.000Z オーストラリア 0
• 2015-04-15T22:10:45.000Z 中国 1
• 2015-04-15T22:10:45.000Z ドイツ 1
• 2015-04-15T22:10:45.000Z イギリス 3
• 2015-04-15T22:10:45.000Z 米国 1
• 2015-04-15T22:10:45.000Z オーストラリア 0
• ...

?

目的は、ホッピング ウィンドウを使用して、最後の x 秒間にイベントがなかったかどうかを検出することです。

最後の関数 ( https://msdn.microsoft.com/en-us/library/azure/mt421186.aspx ) を使用しようとすると。次のエラーが表示されます。

クエリのコンパイルに失敗しました。

私の最後の関数は msdn サンプルの関数と非常によく似ているため、なぜ問題があるのか​​わかりません。

最後の関数を使用して、受信した最新のレコードを識別するフラグを作成しています (これにより、Power BI で最新の値のみをダッシュ​​ボードに表示できます)。

ただし、最後の関数が常にタイムスタンプと同じ日時を返すことがわかっているため、クエリ内のすべての行は、受信した最後の行のように見えます。私のデータには毎秒の記録があります。

(別の方法として、row_number 関数を使用して、最新のレコードを特定するためにフィルター処理するものを提供したいと考えていましたが、これはストリーム分析にはまだ存在していないようです)

StreamInsight for CEP を数か月使用しており、ASA への移行に関心があります。ASA のドキュメントでは答えられない質問があります。StreamInsight では、イベントの期間を変更して、個別のポイント イン タイム イベントからシグナル ストリームを作成できます。例えば

私がやろうとしているのは、この高/低タイプの信号と特定の時点のイベントの別のストリームとの間のオーバーラップを検出することです。ASA で同じことを達成するにはどうすればよいですか?

背景: 複数のソースから Azure イベント ハブにイベントを送信するデバイスがあります。これらのイベントの一部は、連絡先からのオン/オフ イベントです。各連絡先タイプは「EventCode」で表され、「値」フィールドは連絡先が開いているか閉じているかを示します。私が探しているのは、EventCode X も「オン」状態であると同時に、EventCode 512 が「オン」状態であることを教えてくれる ASA クエリです。

解決

以下は、スイッチが開いているときに連絡先が閉じていることを検出する @Andrew からの変更されたコードです。「inStream」は、タイムスタンプ フィールドによってタイムスタンプが付けられた WITH ステートメントで定義されます。

Azure Stream Analytics がセットアップされているので、

1. 入力があります: Azure Storage Blobs (別名: blobinput)

2. 出力があります: PowerBI (別名: powerbioutput)

3. クエリがあります

   SELECT * INTO powerbioutput FROM blobinput TIMESTAMP BY RequestDateTime

4. Azure Stream Analytics ジョブを実行します。

PowerBI に書き込むことができ、データセットとテーブルが適切に設定されます。

ただし、データを適切に分析するには、データセットからいくつかの派生テーブルと列を作成する必要があります。

• このデータセットとテーブルのPowerBI Web サイトから DAX クエリを定義する場所が見つからないようです。
• Azure Stream Analytics によって作成されたデータセットを PowerBI Desktop アプリケーションにエクスポートする方法が見つからないようです。
• PowerBI では、同じデータセットで異なるテーブルに書き込む複数の Azure Stream Analytics ジョブ出力を作成できません。

バックグラウンド

こことここのチュートリアルに基づいて、Azure Event Hub と Azure Stream Analytics (ASA) を使用して IoT プロジェクトをセットアップしました。JSON 形式のメッセージは、webhook を使用して Wi-Fi 対応デバイスからイベント ハブに送信されます。メッセージは ASA クエリを介してフィードされ、送信元の入力ストリームに基づいて 3 つの Azure SQL データベースのいずれかに格納されます。

デバイス (Particle Photon) は、異なるペイロードを持つ 3 つの異なるメッセージを送信します。これらのメッセージには、長期保存/分析用に定義された 3 つの SQL テーブルがあります。次のステップには、リアルタイム アラートと、Power BI による視覚化が含まれます。

以下は、アイデアを視覚的に表したものです。

ASA クエリ

問題:メッセージを受信するたびに、クエリで指定された出力だけでなく、データベース内の3 つのテーブルすべてにデータがプッシュされます。データが属するテーブルには期待どおりに新しい行が取り込まれますが、他の 2 つのテーブルにはデータが存在しない列の NULL が取り込まれます。

ASAのドキュメントから、INTO キーワードが出力を指定されたシンクに送信することを理解していました。しかし、3 つの入力すべてからの出力がすべてのシンク (3 つの SQL テーブルすべて) にプッシュされるため、そうではないようです。

Particle Photon 用に私が書いたテスト スクリプトは、ハードコーディングされたフィールドを持つ各タイプのメッセージを、EnvState、Event、ConsLevels の順に 15 秒間隔で繰り返し送信します。

すべてのテーブルに送信される出力の例を次に示します。各テーブルの 1 つの列が示されています。

このクエリを使用して生成されたもの (Visual Studio):

キー 'PH' が存在する (それぞれ TpEventInput および TpConsLevelInput に属するキー 'EventCode' または 'FreshWater' ではない) タイプ TpEnvStateInput の入力イベントの場合、EnvironmentState テーブルのみへのエントリが必要です。

質問: ASA クエリのどこかにバグがありますか、それとも ASA の使用方法/セットアップ方法に関する私の誤解ですか?

3 つの別個の Stream Analytics コンテナーを定義する必要がないことを望んでいました。このチュートリアルを実行し、4 つの ASA コンテナーを 1 日実行したままにした後、5 ドル近くの Azure クレジットを使い果たしました。予測される月額 150 ドルのコストでは、Azure を使い続けることを正当化する方法はありません。