問題タブ [azure-data-lake]

サンプルの XMLExtractor ( https://github.com/Azure/usql/tree/master/Examples/DataFormatsから複製) を使用して、xml 要素からプロパティを抽出しています。

ルート要素にプロパティが定義されている場合、エクストラクタは機能しません。

たとえば、次の XML ファイルから「rec」要素の「sTime」プロパティを取得する必要があります。

次の U-SQL スクリプトを使用します。

これにより、空のファイルが書き込まれます。しかし、「lics」タグのプロパティを削除すると機能します。

これは抽出器の問題ですか？それとも、エクストラクタのパラメータのいずれかでこれを定義する必要がありますか?

問題は、Data Lake Store のすべてのユーザーとグループに対して読み取り/書き込み/実行アクセスを有効にしないと、別のサブスクリプションの Azure Data Factory から 1 つの Azure サブスクリプションの Azure Data Lake Store に書き込むことができないことです。Data Lake Store の ADF Linked Service でも適切に承認を設定したことはわかっているので、それは問題ではありません。詳細は次のとおりです。

会社のメインの Azure サブスクリプションで作成した Azure Data Lake Store (ADLS) があります (このサブでは、私は共同管理者であり、他のユーザーの作成/変更以外のすべてにアクセスできます)。

自分の MSDN 関連の Azure サブスクリプションに Azure Data Factory (ADF) があり、ADLS をコピー アクティビティのシンクとして使用しようとしています。

同じログインを使用して両方の Azure サブスクリプションにアクセスし、パイプラインを実行すると、(403) Forbidden エラーが発生しErrorCode=UserErrorAdlsUnauthorizedAccessます。

私がこれまでに試したこと：

https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-secure-data/の指示に従い、AAD グループに自分自身を追加しました。しかし、グループをデータ ストアの所有者として追加しようとすると、Azure がグループを見つけることができなかったため、追加できませんでした。

AAD グループ:

AAD グループが見つかりません:

また、([ユーザー] ブレードを介して) データ ストアの OWNER ロールにユーザーとして自分自身を追加しようとしましたが、データ レイク ストアの [アクセス] ブレードで読み取り/書き込み/実行アクセス権を持っています。所有者として追加された別の開発者もいて、読み取り/書き込み/実行アクセス権を持っていましたが、同じ結果が生成されました。

データ レイク ストアにユーザーとして割り当てられました:

データ レイク ストアのファイル システムへのアクセスを許可しました。

ADF パイプラインを実行しようとしたり、失敗したスライスを再実行しようとすると、これらの両方で同じ 403 無許可エラーが発生します。私にとってうまくいった唯一のことは、すべてのユーザーとグループに対して読み取り/書き込み/実行アクセスを有効にすることです。

書き込み/実行と書き込みのみを試しましたが、どちらの組み合わせも機能しませんでした。これを有効にして、失敗したスライスを今すぐ再実行すると、すべてが正常に完了し、データが Data Lake Store に書き込まれます。

このようなアクセスを開かずに、別のサブスクリプションからデータ レイク ストアに書き込む方法はありますか? Data Lake Store連携サービスでサブスクリプションを指定できるのでそう思うのですが、今のところできていません…

EXTRACT FROM を使用した Azure Data Lake Storage または Azure Storage Blob からのファイルのクエリ、およびデータ ソースの場所にある外部テーブルを使用した SQL、Azure SQL Database、または Azure Data Warehouse のクエリに関するドキュメントを見つけました。ただし、Azure テーブル ストレージに関する情報は見つかりません。

生の形式でアクセスされるテーブル ストレージ内のデータに加えて、Azure Data Lake Analytics が理想的であると思われるこのデータに対して集計を実行する必要がありますが、データ レイクを経由する必要はありません。ストレージ / Azure Storage Blobs 中間フラット ファイル。

Azure Table Storage から直接データを照会する方法はありますか?

開発者の皆様へ

Azure Data Lake のベンチマークを行っています。ADL ストアの読み取りと VHD への書き込みがすべて同じリージョンで約 7.5 MB/秒です。これは、次の例から抜粋したコードを使用した PowerShell と C# の場合です。

PowerShell コードはhttps://azure.microsoft.com/en-us/documentation/articles/data-lake-store-get-started-powershell/から です。C# コードはhttps://azure.microsoft.com/en-からです。 us/documentation/articles/data-lake-store-get-started-net-sdk/

上記のコード サンプルはベンチマーク テストに使用できますか? それとも、スループットを向上させる新しい SDK が提供されますか? また、ADL ストアの一般提供が開始されたときに予想されるスループットの数値はありますか?

ありがとう、マーク

U-SQL を使用して、Azure Data Lake Store に配置された CSV データから重複する期間を削除し、それらの行を結合したいと考えています。データ セットには、開始時刻と終了時刻が含まれており、レコードごとに他のいくつかの属性が含まれています。以下に例を示します。

オーバーラップを削除すると、出力データ セットは次のようになります。

CSV には膨大な量のデータが含まれており、数 GB のサイズで構成されていることに注意してください。私はこの問題を解決しようとしていますが、うまくいきません。Azure Data Lake Analytics ジョブの U-SQL ユーザー定義演算子を避け、U-SQL 内から効率的なソリューションを探しています。