問題タブ [u-sql]

Visual Studio 内から正常に実行されるジョブを実行しようとしています。これを ADF パイプラインで実行したいのですが、ジョブが構文エラーで失敗します。

編集: USE DATABASE ステートメントで両方を試してみましたが、上記のようにコメントアウトしました; ### はどちらの場合もまったく同じ場所に表示されます。EDIT2: @michael-rys からのリクエストごとに連続したコード行を追加しましたスクリプトの後半で、パラメータ @outSlice が次のような出力ステートメントで使用されます

パラメータは、パイプライン アクティビティ内で決定されます。以下のスニペット:

U-SQL ユーザー定義演算子を使用して、Azure データ レイク ストアに格納されている約 380 万件のレコードを処理する Azure データ レイク分析ジョブがあります。

最初の実行では並列処理を 10 に設定し、2 回目の実行では並列処理を 1 に設定しました。驚いたことに、両方の実行のジョブ所要時間は同じです (約 1.5 時間)。したがって、私の仕事では並列処理がトリガーされていないようです。ユーザー定義演算子を使用したためですか？並列処理がいつトリガーされ、いつトリガーされないかをどのように判断すればよいのでしょうか?

これで、Azure Data Lake Store にデータがあり、U-SQL を使用した Azure Data Analytic ジョブを使用して、そこに存在するデータを処理しています。ここで、存在する列の値に基づいて、データを別の出力フォルダーにプッシュする必要があるという要件があります。

データを処理すると、以下のような出力が得られるとします。

ID | 名前 | 会社

1 ミドゥンテスト

2 ミッドフン2 テスト2

したがって、最初のレコードを「test」\result.tsv という名前の出力フォルダーに移動し、2 番目のレコードを「test2」\result.tsv の出力フォルダーに移動したいと思います。

U-SQL でこれを行うことはできますか? U-SQL に関する適切な参考資料が見つかりません。リンクを知っている場合は、リンクを共有していただけますか。

Azure Data Lake で使用される U-SQL 言語で以下の SQL を記述する際に、どなたか教えてください。

U-SQL に DATEPART 関数が見つかりません。Azure Data Analytic ジョブでエラーが発生しています。

サンプルの XMLExtractor ( https://github.com/Azure/usql/tree/master/Examples/DataFormatsから複製) を使用して、xml 要素からプロパティを抽出しています。

ルート要素にプロパティが定義されている場合、エクストラクタは機能しません。

たとえば、次の XML ファイルから「rec」要素の「sTime」プロパティを取得する必要があります。

次の U-SQL スクリプトを使用します。

これにより、空のファイルが書き込まれます。しかし、「lics」タグのプロパティを削除すると機能します。

これは抽出器の問題ですか？それとも、エクストラクタのパラメータのいずれかでこれを定義する必要がありますか?

EXTRACT FROM を使用した Azure Data Lake Storage または Azure Storage Blob からのファイルのクエリ、およびデータ ソースの場所にある外部テーブルを使用した SQL、Azure SQL Database、または Azure Data Warehouse のクエリに関するドキュメントを見つけました。ただし、Azure テーブル ストレージに関する情報は見つかりません。

生の形式でアクセスされるテーブル ストレージ内のデータに加えて、Azure Data Lake Analytics が理想的であると思われるこのデータに対して集計を実行する必要がありますが、データ レイクを経由する必要はありません。ストレージ / Azure Storage Blobs 中間フラット ファイル。

Azure Table Storage から直接データを照会する方法はありますか?

ポータル/ビジュアル スタジオから U SQL スクリプトを実行すると、準備、キュー、実行、ファイナライズなどの段階が続きます。これらすべての段階で舞台裏で正確に何が起こっているのでしょうか?開発環境と本番環境でビジュアル スタジオ/ポータルからジョブを実行すると、実行時間に違いはありますか? 速度を計測し、スクリプトが運用環境でかかる時間を記録する必要があります。最終的な目標は、これらのスクリプトを運用環境で Data Factory アクティビティとして実行することです。

次のようなクエリを使用して U-SQL で作業している Web ログ ファイルがあります。

ただし、UserAgent には次のようなものが含まれている場合があります。

これは常に、スクリプトが行が 3 列ではなく 4 列であると見なすことを意味します。

誰もがこれに対処する方法について明るいアイデアを持っています..その文字をエスケープすることが可能かどうか、または抽出時に何らかの方法で無視することが可能かどうかはわかりませんか?