問題タブ [u-sql]

私は U-SQL スクリプトを作成しようとしてきましたが、以下の例も使用しました。

ただし、これをビルドすると、次のエラーが発生します。

E_CSC_USER_NOTAUTHORIZED: このステートメントには、データベース 'master' に対する USE 権限が必要です

なぜこれを持っているのかわかりません。彼が同じプロジェクトを構築するとき、私の他の同僚は何の問題もありません。以前はビルドできたのですが、なぜかビルドできなくなりました。

理由を知っている人はいますか？

ありがとう。

結合しようとしているファイルがたくさんあります。これらの各ファイルの列の多くには null 値しか含まれていないことをたまたま知っています。U-SQL ステートメントを記述して、ファイルからデータを抽出し、null のみの列をチェックして除外するにはどうすればよいですか?

ありがとう！

定義されたタイム スライスで、Azure Data Factory のパイプラインの一部として U-SQL アクティビティを実行しています。U-SQL アクティビティは、Azure Data Lake に格納されているデータを読み込んで処理する一連の U-SQL スクリプトを実行します。ローカル実行ではデータが正常に処理されますが、Azure Data Factory クラウド環境で実行すると System Out of Memory Exception がスローされます。

入力データは約 200MB ですが、これよりも大きなデータ セットが以前に処理されているため、処理に問題はありません。

メモリ管理は必要に応じてスケーリングされると想定されています。Azure クラウド環境でメモリ不足の例外が発生するのは驚くべきことです。次に示すのは、同じ入力データに対する 2 つの実行の例外スナップショットです。唯一の違いは、それらが発生した時間です。

例外スナップショット - 1

例外スナップショット - 2

どんな援助でも大歓迎です、ありがとう。

さらなる更新: さらに調査したところ、変数skipNRow:1を使用してヘッダー行をスキップすることが観察され、問題が再解決されました。u-sql コード ビハインド スニペットには、日付比較を条件とするループがあります。ループが終了しない可能性があるためです。スニペットが DateTime タイプの行の列を入力として処理している場合、ヘッダー行の列の無効な日時キャストの。理想的には、無効な日時形式の例外が発生するはずですが、代わりにメモリ不足の例外が発生します。

変数に SELECT クエリの結果があり、クエリ結果を行ごとに反復処理して、特定のパターンを見つけるなどの処理を実行したいと考えています。たとえば、パターンは次のようになります。

CSV での SELECT クエリの結果は次のようになります。

カスタム エクストラクタを使用した PROCESS ステートメントについて何か見たことがありますが、これはその方法ですか? この PROCESS とエクストラクタがどのように機能するかはわかりません。

https://msdn.microsoft.com/en-us/library/azure/mt621322.aspx

助けてくれてありがとう。

Web とフォーラムを参照してファイル json からデータをダウンロードしましたが、スクリプトが機能しません。レートのオブジェクトのリストをダウンロードする際に問題があります。誰か助けてくれませんか？私は欠点を見つけることができません。

これはSQLの私のスクリプトです。

私の Data Lake Analytics ジョブは、.NET を実装するカスタム .NET アセンブリを読み込みますIExtractor。このエクストラクタは、たとえば、テキスト ファイルからデータを再配置するだけの場合にはうまく機能しますが、私が実際にやりたいのは、入力データをベンダーのリモート API から HTTP 経由でプルすることです。そこで、エクストラクターの実装を変更して、本質的に REST 要求を作成します。

これを行うと、Analytics ログに「http 要求を作成できません」というエラーが表示されます。Microsoft が、Analytics のカスタム アセンブリ内でできることとできないことを制限していることは理にかなっていると思いますが、ドキュメントには、カスタム アセンブリ内で HTTP 要求を行うことはできないという直接的な記述は見つかりません。

だから私の質問は2つの部分です：

1. Azure Data Lake Analytics のカスタム アセンブリに関する制限はどこに記載されていますか?
2. 大規模な静的入力ファイルが最新のデータを取得する方法として洗練されていないことがわかった場合、入力データを Analytics ジョブにプルするためのより良い方法は何ですか?