問題タブ [u-sql]

相互に依存する複数のコード ユニットで構成される大きな U-SQL スクリプトを作成しました。単一の U-SQL ジョブとして実行できます。ところで、このジョブは Azure Data Factory アクティビティとして実行しています。

メンテナンスとテストを改善するために、このスクリプトを複数の U-SQL スクリプトに分割し、それぞれが 1 つのユニットを含むようにします。このようにして、スクリプトの個々のユニットで単体テストを実行できます。しかし、これを行うと別の問題に直面しました。複数のスクリプトの場合、データ ファクトリ パイプラインをデプロイする前に、これらすべてのスクリプトを 1 つのスクリプトに結合する必要があります。

U-SQL スクリプトを複数のファイルで管理し、Azure Data Factory で単一のジョブとして送信する方法はありますか?

Aure Web ポータルを介して PowerShell Runbook で Submit-AzureRmDataLakeAnalyticsJob コマンドレットを実行できないのはなぜですか? 次のエラー メッセージが表示されます。

Submit-AzureRmDataLakeAnalyticsJob :「Submit-AzureRmDataLakeAnalyticsJob」という用語は、コマンドレット、関数、スクリプト ファイル、または操作可能なプログラムの名前として認識されません。名前のスペルを確認するか、パスが含まれている場合は、パスが正しいことを確認してから再試行してください。

PowerShell ISE でエラーなしでこのコマンドを実行できます。

このタイプのコマンドはランブックなどで実行できませんか? 多分私はPowerShellを理解していないだけです

スケジュールに従って Azure Automation を使用して U-SQL ジョブを送信しようとしています。ただし、Submit-AzureRmDataLakeAnalyticsJobコマンドを使用すると、次のエラーが発生します。

Submit-AzureRmDataLakeAnalyticsJob : Object reference not set to an instance of an object

を使用してスクリプトを実行できPowerShellます。断続的に動作しますが、同じエラーが発生することがあります。Azure Automation でこのエラーを修正する方法はありますか?

編集:完全な声明は次のとおりです: Submit-AzureRmDataLakeAnalyticsJob -Account "****" -Name "SecondJob" -Script $usqlScript(プライバシーのためにアカウント名にスターを付けました)。$usqlScript 変数は、Azure portal から送信されたときに完了するまで実行される有効な U-SQL スクリプトを保持します。

このアセンブリをjsonエクストラクタとして使用していますが、すべて正常に機能しています。私の入力であるjsonファイルは、今では単なるjsonです。私がやろうとしているのは、暗号化されたコンテンツを含むファイルを読み取ることです。

したがって、エクストラクタでは、文字列を復号化する C# メソッドを使用したいのですが、文字列をどこにも取得していないため、これを機能させる方法がわかりません。抽出方法はこちら。

そして、これが私の復号化方法です

誰かが私を正しい方向に向けることができますか? ありがとう！

EXTRACT ステートメントの一部として、カスタム DateTime 形式の文字列を提供することは可能ですか? (デフォルトは mm/dd/yyyy のようで、私のデータは dd/mm/yyyy です)

それとも、最初の行セットを文字列として読み込んでから、DateTime に変換しますか?

たとえば、これは機能しているようです (ただし、ローカルの実行時間は、1 つ以上の入力ファイルで大幅に遅くなります)

次のような単純な U-SQL 移行スクリプトがあります。

1. ADL データベースのステージング テーブルからデータを選択します
2. ステージング テーブルを切り捨てる
3. ADL の永続化されたテーブルに内容を挿入します

ステージング テーブルの読み込みスクリプトを実行した後にこのスクリプトを実行すると、スクリプトが正常に実行され、データが挿入されます。ただし、この同じ移行スクリプトを 2 回目に実行すると、次のエラーが発生します。

"diagnosticCode":195887168,"severity":"Error","component":"RUNTIME","source":"System","errorId":"E_RUNTIME_SYSTEM_INTERNALISSUE","message":"内部エラーが報告されました [アサーションが失敗しました: 'partitionDimension < vertexIndices.size()' at ScopeEngine::GetPartitionIndex(1020),]"

最後に、再度ロード スクリプトを実行し、続いて移行スクリプトを実行すると、すべてが正常に戻ります。何が間違っている可能性があるかについて、誰かがより多くの情報を提供できますか?

開発中のアプリケーションのデータ レイクをテストしています。私は U-SQL とデータ レイクを初めて使用し、JSON ファイル内のすべてのレコードに対してクエリを実行しようとしています。現在、1 つのレコードしか返されていませんが、ファイルには約 200 のレコードがあるため、その理由はわかりません。

私のコードは次のとおりです。

データ例:

事前に助けてくれてありがとう

ソースから変換するすべての行に一意の GUID が必要です。
以下はサンプルスクリプトです。コード Guid.NewGuid() は、すべての行に対して常に同じ値を返します

このユースケースでは、構成可能な入力を Azure Data Factory を介して U-SQL スクリプトに渡す必要があります。実現可能性を評価しており、アクティビティのタイム スライスの間隔に応じて、U-SQL スクリプトに渡される変数の数を自動化する必要があります。

たとえば、U-SQL スクリプトを 4 時間ごとに実行する場合、1 時間ごとに 1 つずつ、4 つの異なるファイルからデータを読み取る必要があります。間隔が 5 時間に変更された場合、U-SQL スクリプトを更新しなくても、5 つの異なるファイルから自動的に読み取られるように、これを自動化する必要があります。

ファイル パスは次の形式になります: Source\YYYY-MM-DD\hh.csv

この動的性は、データ ファクトリまたはデータ レイクが提供する現在の機能と一連の機能で達成できますか? または、データ ファクトリ パイプラインのデプロイを自動化できるようにするための回避策はありますか?