azure - Azure Event Hubs を Data Lake Store に接続する

Question

Event Hubs から Data Lake Store にデータを送信する最良の方法は何ですか?

Answer 1

EventHubs から Data Lake Store に定期的にデータを取り込みたいと想定しています。Nava が言ったように、Azure Stream Analytics を使用して、EventHub から Azure Storage Blob にデータを取得できます。その後、Azure Data Factory (ADF) を使用して、定期的に BLOB から Azure Data Lake Store にデータをコピーできます。ADF の使用の詳細については、https ://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-datalake-connector/ を参照してください。お役に立てれば。

== 2016 年 3 月 17 日更新。

Azure Stream Analytics の出力として Azure Data Lake Store がサポートされるようになりました。https://blogs.msdn.microsoft.com/streamanalytics/2016/03/14/integration-with-azure-data-lake-store/ . これは、シナリオに最適なオプションです。

サチン・シェス

プログラム マネージャー、Azure データ レイク

Answer 2

Nava の回答に加えて、ADLA/U-SQL を使用して Windows Azure Blob Storage コンテナー内のデータをクエリすることもできます。または、Blob Store to ADL Storage コピー サービスを使用することもできます ( https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-copy-data-azure-storage-blob/を参照)。

Answer 3

1 つの方法は、イベント ハブイベント ハブ APIからメッセージを読み取り 、データ レイク ストアに書き込むプロセスを作成することです。データレイク SDK .

もう 1 つの方法は、Steam Analytics を使用して Event Hub から BLOB にデータを取得し、Azure Automation を使用して、BLOB からデータを読み取ってデータ レイク ストアに書き込むPowerShellを実行することです。