問題タブ [u-sql]

私は Azure Data Lake を気に入っていますが、ドキュメントがないと採用が遅くなる可能性があります。誰かが私よりも U-SQL の経験が豊富であることを願っています。

Microsoft.Analytics.Interfaces および U-SQL インタープリターを介して利用可能なものから派生しようとしていますが、あまり運がありません。実行時に行セットのスキーマを定義するために動的SQLがサポートされていないようであり、IUpdatableRowのスキーマは読み取り専用であるため、プロセッサのアプローチは実行できません。また、U-SQL にはすぐに使える PIVOT 機能はありません。

また、行セットをすべてまとめて処理し、ピボットするカスタム アウトプッターを作成できるのではないかと考えましたが、わかりませんでした。

これは標準のピボット操作であるため、おそらく非常に簡単な方法があります。不確定な数の ColA 値と ColB 値に対して、パフォーマンスの高い方法で行セットを I から II に再形成するにはどうすればよいでしょうか?

私

Ⅱ

並列で実行されていないように見える行セットでカスタム プロセッサを実行しています。基礎となる約 1 GB のテキスト ファイルは、最初にラウンド ロビンによって分割されたテーブルに読み込まれます。「抽出」は 200 個の頂点で実行されますが、(「集約」ノードの下で) 処理 [さまざまな複雑な計算を行う] は、並列処理パラメーターがそれよりもはるかに高いにもかかわらず、2 つの頂点でのみ発生します。より多くの頂点を使用するようにコンパイラに指示するために使用する必要がある特別なヒントはありますか? このフェーズでも並列処理を設定するためにオーバーライドする必要がある関数またはプロパティはありますか?

Visual Studio から Azure データ レイク分析で USQL ジョブを実行していますが、以下のスクリプト エラーが発生します。私の仕事の目的は、Azure BLOB REST API を使用して Azure BLOB から xml ファイルを読み取り、データを抽出してから、Azure データ レイク ストアに csv ファイルを生成することです。エラーでヘルプが表示されません。この問題を理解するのを手伝ってくれる人はいますか?

診断コード: 223412289

重大度: エラー

コンポーネント: JobManager_User

ソース: ユーザー

エラー ID: VertexRetriedTooMany

メッセージ: 頂点の再試行回数が多すぎます

説明: 頂点 SV1_Extract[0][0] が 24 回再試行されました。

解決策: 該当なし

ヘルプリンク: 該当なし

詳細: Vertex SV1_Extract[0][0].v23 {B0AF5C27-21A5-4011-8044-09A4AB0642C4} が失敗しました。エラー: 関数が正しくありません。

更新 - 私のユースケースに関する詳細情報:

この機能を使用してユース ケースを簡単に解決できると思うので、USQL ジョブで「カスタム ユーザー定義演算子」を使用しようとしています。

私の入力 CSV ファイルは、Azure BLOB に配置された XML ファイルのいくつかの値とパスを含むデータ レイク ストアに配置されます。

USQL ジョブでは、(USQL を使用して) CSV から XML ファイル パスを読み取り、次に Azure BLOB ストレージからそれらの XML ファイルを読み取り、(コード ビハインド C# を使用して) 値を抽出し、入力ファイルを XML 値とマージして、Azure で新しい CSV ファイルを生成しています。データ レイク ストア (再び USQL を使用)。

更新 2

また、コード ビハインドで BLOB にアクセスするために REST API の代わりに Windows Azure ストレージ SDK を使用しようとしましたが、実行中のジョブで次のエラーが発生しました。

同じコードがローカルで正常に動作することに注意してください。そのため、ブロブにアクセスしているコードに問題はないと思います。

Azure データ レイク分析ジョブのために U-SQL でXML Extractorを使用して XML 要素から属性値を抽出するにはどうすればよいですか。

更新: 問題の詳細

私の XML ファイルは次のようになります。

これが私の U-SQL スクリプトです。

デバッグ後、XPath クラスの Load メソッドを読み込もうとすると例外が発生しました。

例外は次のとおりです。

更新 2:

quotes:false を使用した後、別の例外が発生します。

C# の U-SQL アクティビティのコード ビハインド ファイルで、wasb URI スキームを使用して Azure BLOB および Azure データ レイク ストアにアクセスできますか。私はこれを示す例/サンプルを観察していません。また、可能かどうかも特定されていません。可能であれば、これを使用するためのサンプル/例を共有してください。

レデューサーのコンストラクターへの引数としてルックアップ ファイルを必要とするカスタム レデューサーを U-SQL で作成しています。問題は、ローカルで実行すると、/data/ ディレクトリの下のプロジェクトに含まれるルックアップ ファイルが見つからないことです。コード スニペットは次のとおりです。

そして、ここに私が得ているエラーメッセージがあります。解決策が何であれ、ローカルでの実行だけでなく、紺碧のクラウドでも機能することを望みます。ありがとう。

ステップ 1/1 を実行中

未処理の例外: System.Exception: {"diagnosticCode":195887132,"severity":"E rror","component":"RUNTIME","source":"User","errorId":"E_RUNTIME_USER_UNHANDLED_ EXCEPTION_FROM_USER_CODE","message ":"ユーザー タイプ 'USQLApplication1.MyReducer' でメソッド 'Constructor' を呼び出したときに、ユーザー コードから未処理の例外が報告されました","description":"ユーザー コードからの未処理の例外: \"ファイルが見つかりませんでした ' D:\Users\jbfp\Documents\Visual Studio 2015\Projects\USQL Application1\USQLApplication1\bin\Debug\ECB1C361139EE2D8\Script2_2E96CB20AE 368E7B\EventType.csv'.\"

複数のファイルからデータを抽出したいので、1 つの仮想列を必要とするファイル セット パターンを使用しています。データに問題があるため、サイレント スイッチも必要です。そうしないと、データを処理できません。サイレントスイッチで仮想列を使用すると、行が抽出されないようです。

仮想列を削除することで、単一のファイルからデータを抽出できることに注意してください。この問題の解決策はありますか?

Azure Data Lake Analytics と U-SQL は、スクリプトでのカーソルの概念をサポートしていますか?

抽出したいさらなるデータ セットへのパスを含むデータ セットがあり、結果を別のファイルに出力したいと考えています。

現時点では、データセット内の値に基づいてデータを動的に抽出および出力するためのソリューションが見つからないようです。

ファイルにアクセスしてデータをフェッチするカスタム アセンブリを U-SQL に登録して使用しています。アセンブリを依存関係に登録するときに、データ ファイルは「追加ファイル」としてアップロードされます (私は VS 2015 を使用しています)。

ただし、ジョブは System.IO.FileNotFoundException で失敗し、カスタム アセンブリはファイルを見つけることができません。ファイルにアクセスするメソッドで例外が発生します。

ファイルにアクセスする特定の方法はありますか? それとも、特定の場所に配置する必要がありますか?

ファイルはカスタム アセンブリと同じディレクトリに配置され、関連する詳細がある場合は、データ レイク ストア内の依存関係になります。