問題タブ [azure-data-factory]

現在、要件の一部として、以下の Azure コンポーネントを使用しています。

• Azure イベント ハブ

• Azure ストリーム分析

• Azure テーブル ストレージ

• Azure SQL DB

基本的に最初の 3 つのコンポーネントで、分析とレポートのプラットフォームを構築します。

現在、開始したばかりなので、Azure Table Storage からのデータを分析し、分析ダッシュボードに表示しています。

最近、Azure の新しい製品であるAzure Data Lakeに出会いました。Microsoft の Web サイトで調査を行ったところ、(Azure Data Factory を使用して) Azure Table Storage から Azure Lake Store にデータを簡単に移行できることがわかりました。Azure Data Lake と Azure Data Factory を使用してビッグ データ パイプラインを作成する

上記のリンクをたどると、データを処理するために Azure Data Lake Analytics パイプラインを作成する必要があることが示されています。

したがって、分析出力データがどこに保存されるかは不明です。分析出力を何らかの DB に保存する必要がありますか? または、HTTP リクエストを介してリアルタイム分析を行うことはできますか?

Azure Data Lake に移動される Azure Table Storage には膨大な数のレコード行があります。このシナリオでは、それは良い選択肢でしょうか、それとも Azure Table Storage 自体から分析ベースのソリューションを利用できるでしょうか。

あなたの考えを共有してください

Azure Table Storage から Azure Data Lake にデータを移動しようとしています。そこで、データ ファクトリを作成しました (リンクされたサービス、データ セット、およびパイプラインを使用)。パイプラインはコピー アクションで作成されます。

リンクされたサービスの 1 つとして "Azure Data Lake Store" を選択し、構成を承認しました。最終的な構成は次のようになります。

パイプラインを作成した後、データの移動が行われているようです。しかし、このエラーが発生しています

コピー アクティビティでユーザー エラーが発生しました。 System.Net.WebException,Message=リモート サーバーがエラーを返しました: (403) Forbidden.,Source=System,'

このエラーから、不正なリクエストがあったようです。しかし、前述のように、Azure Data Lake Store のリンクされたサービスを正しく承認しました。

このエラーの考えられるケースと、ここで何をする必要があるか、どなたか教えてください。

Data Lake - Analytics ジョブを実行していますが、以下のエラーが発生します

エラー VertexFailedFast. 頂点の失敗により、クイック ジョブが中止されました。頂点が失敗しました: SV1_Extract[0][0] エラー: 頂点ユーザー コード エラー。説明 Vertex はフェイルファスト エラーで失敗しました

なぜこれが起こるのか誰か知っていますか？

私は Azure Data Factory をセットアップしようとしています (これまでのところ失敗しています)。同じサーバー上 (同じサブスクリプション内) にある 2 つの Azure SQL データベースがあります。

両方のデータベースに、次のスキーマを持つテーブルがあります

データ ファクトリを使用して、あるデータベース テーブルから 2 番目の DB の同じ構造化テーブルにデータを転送したいと考えています。

データ ファクトリは Geography/Geometry データ型をサポートしていますか?

これを行うために Azure データ同期を使用することも検討しました。残念ながら、テーブルの各行は 1 つのデータ同期トランザクションには大きすぎます (テーブルには、Geography データ型を使用した複雑な国の境界が含まれています)。

例

これを行うもう 1 つの方法は、参照テーブルを使用することですが、残念ながら参照テーブルは Geography/Geometry データ型もサポートしていません。

Data Factory を利用して、Azure Table Storage から Azure Data Lake Store にデータを移動しています。Azure Data Lake Store に接続するリンクされたサービスを追加した場合の一部として。

この Azure Data Lake Store のリンクされたサービスには、[承認] ボタンがあります。承認を受け、データを Azure Data Lake Store に正常に移動できました。

しかし、問題は、しばらくして認証の有効期限が切れ、リクエストが認証されなくなることです。次に、接続情報を再認証する必要があります。

このステップを回避する必要があります。タイムアウト後に毎回リクエストを承認します。どのようにそれを行うことができますか？有用なリンクを共有してください

問題は、Data Lake Store のすべてのユーザーとグループに対して読み取り/書き込み/実行アクセスを有効にしないと、別のサブスクリプションの Azure Data Factory から 1 つの Azure サブスクリプションの Azure Data Lake Store に書き込むことができないことです。Data Lake Store の ADF Linked Service でも適切に承認を設定したことはわかっているので、それは問題ではありません。詳細は次のとおりです。

会社のメインの Azure サブスクリプションで作成した Azure Data Lake Store (ADLS) があります (このサブでは、私は共同管理者であり、他のユーザーの作成/変更以外のすべてにアクセスできます)。

自分の MSDN 関連の Azure サブスクリプションに Azure Data Factory (ADF) があり、ADLS をコピー アクティビティのシンクとして使用しようとしています。

同じログインを使用して両方の Azure サブスクリプションにアクセスし、パイプラインを実行すると、(403) Forbidden エラーが発生しErrorCode=UserErrorAdlsUnauthorizedAccessます。

私がこれまでに試したこと：

https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-secure-data/の指示に従い、AAD グループに自分自身を追加しました。しかし、グループをデータ ストアの所有者として追加しようとすると、Azure がグループを見つけることができなかったため、追加できませんでした。

AAD グループ:

AAD グループが見つかりません:

また、([ユーザー] ブレードを介して) データ ストアの OWNER ロールにユーザーとして自分自身を追加しようとしましたが、データ レイク ストアの [アクセス] ブレードで読み取り/書き込み/実行アクセス権を持っています。所有者として追加された別の開発者もいて、読み取り/書き込み/実行アクセス権を持っていましたが、同じ結果が生成されました。

データ レイク ストアにユーザーとして割り当てられました:

データ レイク ストアのファイル システムへのアクセスを許可しました。

ADF パイプラインを実行しようとしたり、失敗したスライスを再実行しようとすると、これらの両方で同じ 403 無許可エラーが発生します。私にとってうまくいった唯一のことは、すべてのユーザーとグループに対して読み取り/書き込み/実行アクセスを有効にすることです。

書き込み/実行と書き込みのみを試しましたが、どちらの組み合わせも機能しませんでした。これを有効にして、失敗したスライスを今すぐ再実行すると、すべてが正常に完了し、データが Data Lake Store に書き込まれます。

このようなアクセスを開かずに、別のサブスクリプションからデータ レイク ストアに書き込む方法はありますか? Data Lake Store連携サービスでサブスクリプションを指定できるのでそう思うのですが、今のところできていません…