問題タブ [azure-data-lake]

ジョブが実行されたときのタイムスタンプに基づいて、Azure Data Lake の u-sql で動的出力ファイル名を取得するにはどうすればよいですか。助けてくれてありがとう。以下の私のコード:

Azure Data Lake のリンクされたサービスを使用している Azure Data Factory Visual Studio プロジェクトがあります。それらを作成するとき、最初にそれらを承認する必要があります。ただし、指定された承認は、特定の期間 (日数) が経過すると期限切れになります。

リンクされたサービスを再承認するオプションが見つかりません。ポータルから別の連携サービスを再認可し、その認可を VS で作成した連携サービスに使用しようとしましたが、うまくいきません。

新たな承認のために、リンクされたサービスを削除して再作成する必要がありました。

この機能が欠落していますか、または VS でデータ レイクのリンクされたサービスの新しい認証を取得する別の方法はありますか?

U-SQL でパラメーター化されたテーブル値関数から選択できますが、CROSS APPLY では使用できないようです。TVF から基本的な選択を行うことができる @query1 を参照してください。SQL.MAP を使用した回避策については、@query3 を参照してください。機能せず、コメントアウトされている @query2 を参照してください。これはサポートされているパターンですか? 返されるエラーは

「C# エラー CS0103: 名前 'temp' は現在のコンテキストに存在しません」.

提案された JSONPath オプションを既に試しましたが、JSONExtractor はルート レベルしか認識しないようです。私の場合、入れ子になった json 構造と配列を扱う必要があります (以下の例を参照)。複数の中間ファイルなしでこれを抽出するオプションはありますか?

SELECT 関係 ID、住所 ID、番地、郵便番号、都市 ?

U-SQL スクリプトをローカルで実行しようとすると、次のエラーが発生します。

Data Lake Store で実行されるスクリプトを Visual Studio で実行できますが、スクリプトをローカルで実行しようとした場合にのみエラーが発生します。

64 ビット Windows 7 で Visual Studio 15 Community を使用しています。

相互に依存する複数のコード ユニットで構成される大きな U-SQL スクリプトを作成しました。単一の U-SQL ジョブとして実行できます。ところで、このジョブは Azure Data Factory アクティビティとして実行しています。

メンテナンスとテストを改善するために、このスクリプトを複数の U-SQL スクリプトに分割し、それぞれが 1 つのユニットを含むようにします。このようにして、スクリプトの個々のユニットで単体テストを実行できます。しかし、これを行うと別の問題に直面しました。複数のスクリプトの場合、データ ファクトリ パイプラインをデプロイする前に、これらすべてのスクリプトを 1 つのスクリプトに結合する必要があります。

U-SQL スクリプトを複数のファイルで管理し、Azure Data Factory で単一のジョブとして送信する方法はありますか?

Aure Web ポータルを介して PowerShell Runbook で Submit-AzureRmDataLakeAnalyticsJob コマンドレットを実行できないのはなぜですか? 次のエラー メッセージが表示されます。

Submit-AzureRmDataLakeAnalyticsJob :「Submit-AzureRmDataLakeAnalyticsJob」という用語は、コマンドレット、関数、スクリプト ファイル、または操作可能なプログラムの名前として認識されません。名前のスペルを確認するか、パスが含まれている場合は、パスが正しいことを確認してから再試行してください。

PowerShell ISE でエラーなしでこのコマンドを実行できます。

このタイプのコマンドはランブックなどで実行できませんか? 多分私はPowerShellを理解していないだけです

スケジュールに従って Azure Automation を使用して U-SQL ジョブを送信しようとしています。ただし、Submit-AzureRmDataLakeAnalyticsJobコマンドを使用すると、次のエラーが発生します。

Submit-AzureRmDataLakeAnalyticsJob : Object reference not set to an instance of an object

を使用してスクリプトを実行できPowerShellます。断続的に動作しますが、同じエラーが発生することがあります。Azure Automation でこのエラーを修正する方法はありますか?

編集:完全な声明は次のとおりです: Submit-AzureRmDataLakeAnalyticsJob -Account "****" -Name "SecondJob" -Script $usqlScript(プライバシーのためにアカウント名にスターを付けました)。$usqlScript 変数は、Azure portal から送信されたときに完了するまで実行される有効な U-SQL スクリプトを保持します。