問題タブ [azure-data-lake]

現在、要件の一部として、以下の Azure コンポーネントを使用しています。

• Azure イベント ハブ

• Azure ストリーム分析

• Azure テーブル ストレージ

• Azure SQL DB

基本的に最初の 3 つのコンポーネントで、分析とレポートのプラットフォームを構築します。

現在、開始したばかりなので、Azure Table Storage からのデータを分析し、分析ダッシュボードに表示しています。

最近、Azure の新しい製品であるAzure Data Lakeに出会いました。Microsoft の Web サイトで調査を行ったところ、(Azure Data Factory を使用して) Azure Table Storage から Azure Lake Store にデータを簡単に移行できることがわかりました。Azure Data Lake と Azure Data Factory を使用してビッグ データ パイプラインを作成する

上記のリンクをたどると、データを処理するために Azure Data Lake Analytics パイプラインを作成する必要があることが示されています。

したがって、分析出力データがどこに保存されるかは不明です。分析出力を何らかの DB に保存する必要がありますか? または、HTTP リクエストを介してリアルタイム分析を行うことはできますか?

Azure Data Lake に移動される Azure Table Storage には膨大な数のレコード行があります。このシナリオでは、それは良い選択肢でしょうか、それとも Azure Table Storage 自体から分析ベースのソリューションを利用できるでしょうか。

あなたの考えを共有してください

Visual Studio 内から正常に実行されるジョブを実行しようとしています。これを ADF パイプラインで実行したいのですが、ジョブが構文エラーで失敗します。

編集: USE DATABASE ステートメントで両方を試してみましたが、上記のようにコメントアウトしました; ### はどちらの場合もまったく同じ場所に表示されます。EDIT2: @michael-rys からのリクエストごとに連続したコード行を追加しましたスクリプトの後半で、パラメータ @outSlice が次のような出力ステートメントで使用されます

パラメータは、パイプライン アクティビティ内で決定されます。以下のスニペット:

U-SQL ユーザー定義演算子を使用して、Azure データ レイク ストアに格納されている約 380 万件のレコードを処理する Azure データ レイク分析ジョブがあります。

最初の実行では並列処理を 10 に設定し、2 回目の実行では並列処理を 1 に設定しました。驚いたことに、両方の実行のジョブ所要時間は同じです (約 1.5 時間)。したがって、私の仕事では並列処理がトリガーされていないようです。ユーザー定義演算子を使用したためですか？並列処理がいつトリガーされ、いつトリガーされないかをどのように判断すればよいのでしょうか?

Azure Table Storage から Azure Data Lake にデータを移動しようとしています。そこで、データ ファクトリを作成しました (リンクされたサービス、データ セット、およびパイプラインを使用)。パイプラインはコピー アクションで作成されます。

リンクされたサービスの 1 つとして "Azure Data Lake Store" を選択し、構成を承認しました。最終的な構成は次のようになります。

パイプラインを作成した後、データの移動が行われているようです。しかし、このエラーが発生しています

コピー アクティビティでユーザー エラーが発生しました。 System.Net.WebException,Message=リモート サーバーがエラーを返しました: (403) Forbidden.,Source=System,'

このエラーから、不正なリクエストがあったようです。しかし、前述のように、Azure Data Lake Store のリンクされたサービスを正しく承認しました。

このエラーの考えられるケースと、ここで何をする必要があるか、どなたか教えてください。

Data Lake - Analytics ジョブを実行していますが、以下のエラーが発生します

エラー VertexFailedFast. 頂点の失敗により、クイック ジョブが中止されました。頂点が失敗しました: SV1_Extract[0][0] エラー: 頂点ユーザー コード エラー。説明 Vertex はフェイルファスト エラーで失敗しました

なぜこれが起こるのか誰か知っていますか？

Data Lake Store にあるファイルをダウンロードしようとしています。.Net Azure SDK を使用する以下のチュートリアルに従っています。

https://azure.microsoft.com/en-us/documentation/articles/data-lake-analytics-get-started-net-sdk/

ファイルは既に Azure Data Lake Store に存在するため、ファイルをダウンロードするためのコードを追加しました。

しかし、以下のエラーで失敗しています

{"RemoteException":{"exception":"RuntimeException","message":"FsOpenStream がエラー 0x83090aa2 () で失敗しました。[83271af3c3a14973ad7814e7d9d201f6]","javaClassName":"java.lang.RuntimeException"}}

デバッグ中に、2 行目のコードで使用されているbeginOpenResponse.Locationを調べました。以下のように正しい値のようです

https://XXXXXXXX.azuredatalakestore.net/webhdfs/v1/XXXX/XXX/test.csv?op=OPEN&api-version=2015-10-01-preview&read=true

このエラーは、問題を追跡するための多くの情報を提供しません。

これで、Azure Data Lake Store にデータがあり、U-SQL を使用した Azure Data Analytic ジョブを使用して、そこに存在するデータを処理しています。ここで、存在する列の値に基づいて、データを別の出力フォルダーにプッシュする必要があるという要件があります。

データを処理すると、以下のような出力が得られるとします。

ID | 名前 | 会社

1 ミドゥンテスト

2 ミッドフン2 テスト2

したがって、最初のレコードを「test」\result.tsv という名前の出力フォルダーに移動し、2 番目のレコードを「test2」\result.tsv の出力フォルダーに移動したいと思います。

U-SQL でこれを行うことはできますか? U-SQL に関する適切な参考資料が見つかりません。リンクを知っている場合は、リンクを共有していただけますか。

Data Factory を利用して、Azure Table Storage から Azure Data Lake Store にデータを移動しています。Azure Data Lake Store に接続するリンクされたサービスを追加した場合の一部として。

この Azure Data Lake Store のリンクされたサービスには、[承認] ボタンがあります。承認を受け、データを Azure Data Lake Store に正常に移動できました。

しかし、問題は、しばらくして認証の有効期限が切れ、リクエストが認証されなくなることです。次に、接続情報を再認証する必要があります。

このステップを回避する必要があります。タイムアウト後に毎回リクエストを承認します。どのようにそれを行うことができますか？有用なリンクを共有してください