問題タブ [azure-data-lake]

U-SQL スクリプトでスキーマ化された入力ファイルを使用するにはどうすればよいですか? つまり、複数のファイルを EXTRACT 句への入力として使用するにはどうすればよいでしょうか?

によると

https://msdn.microsoft.com/en-us/library/azure/mt621320.aspx?f=255&MSPPError=-2147217396

と

https://social.msdn.microsoft.com/Forums/en-US/0ad563d8-677c-46e7-bb3e-e1627025f2e9/read-data-from-multiple-files-and-folder-using-usql?forum=AzureDataLake&prof=必要

両方試してみました

と

どちらのバージョンでも、「*」が無効な文字であるというエラー メッセージが表示されます。

Visual Studio のサーバー エクスプローラーから Azure Data Lake Analytics アカウントを展開しているときに、次のエラーが発生します。正常に動作していましたが、最近動作しなくなりました。この問題の原因と解決方法がわかりません。ところで、私はVS2015を使用しています。

次のシステム エラーが発生します。

アクティビティのエラー: [{"errorId":"E_SYSTEM_NM_NMCANNOTLAUNCHJM" ,"name":"NM_CANNOT_LAUNCH_JM" ,"severity":"Error" ,"source":"System" ,"component":"NM" ,"message": 「内部システム エラーのため、ジョブが失敗しました。」,"詳細":"" ,"説明":"","解像度":"","helpLink":"","innerError":null}].

エラーは断続的ではありません。ある場所から別の場所にファイルをコピーするだけです。内部システムエラーと表示されます - 何かアイデアはありますか?

以下は私のUsqlスクリプトです。

データを Azure Data Lake Store に移動し、Azure Data Lake Analytics を使用して処理しています。データは XML の形式であり、 XML Extractorを介して読み取っています。Azure ML からこのデータにアクセスしたいのですが、現時点では Azure Data Lake ストアは直接サポートされていないようです。

Azure ML で Azure Data Lake Store を使用するには、どのような方法がありますか?

BCP を使用して SQL Server から抽出したデータがあります。ファイルは ASCII CSV です。
2016-03-03T23:00:00 形式の日付。

抽出を実行すると、取得します

追加情報：

{"diagnosticCode":195887127,"severity":"Error","component":"RUNTIME","source":"User","errorId":"E_RUNTIME_USER_EXTRACT_COLUMN_CONVERSION_INVALID_ERROR","message":"変換しようとすると無効な文字ですcolumn data.","description":"HEX: \"223022\" 入力レコードの変換時に無効な文字です。\n位置: 1 行目、21 列目。","解決":"入力にエラーがないか確認するか、\"silent を使用してください\" 入力内のオーバー (アンダー) サイズの行を無視するように切り替えます。\n\"無効な\" 行を無視するとジョブの結果に影響を与える可能性があり、変換エラーを無視するには型が null 可能である必要があることを考慮してください。","helpLink": ""、"詳細"："================================================== ==========================================\nHEX:5432333B35313B34362D323031362E30332E30335432333B30303B30302D302D352D323031362E30332E30335432333B35313B34392F3536372D302D323031362E30332E3033\n ^\ nTEXT:T23:51:46,2016-03-03T23:00:00,0,5,2016-03-03T23:51:49.567,0,2016-03-03\n

抽出時に日付を適切に処理するにはどうすればよいですか? 日時列の途中で分割されている理由は不明です。

サンプル行は次のようになります

50CA2FBB-95C3-4216-A729-999BE2DB491A,2016-03-03T23:51:49.567,1001464881,1001464795,1001464795,00000000-0000-0000-0000-000000000000,00000000-0000-0000-0000-000000000000,100 ,100 , ,12643,bCAwvRnNVwrKDXKxZkVed2Z1zHY=,o2lsnhueDApmvSbm31mh3aetYnc=,2016-03-03T23:50:46,2016-03-03T23:00:00,2016-03-03T23:51:46,2016-03-03T20,: ,5,2016-03-03T23:51:49.567,0,2016-03-03T00:00:00,2016-03-03T23:59:59,00000000-0000-0000-0000-000000000000

データ レイク分析ジョブを実行していますが、抽出中にエラーが発生します。私は自分のスクリプトで TEXT エクストラクタと独自のエクストラクタを使用しています。スペース文字で区切られた 2 つの列を含むファイルからデータを取得しようとしています。スクリプトをローカルで実行するとすべて正常に動作しますが、DLA アカウントを使用してスクリプトを実行しようとするとうまくいきません。何千もの行を持つファイルからデータを取得しようとした場合にのみ問題が発生します (ただし、データは 36 MB のみ)。小さなファイルの場合、すべてが正しく機能します。頂点の総数が抽出ノードの総数よりも多い場合に例外がスローされることに気付きました。他の「大きな」ファイル（.csv、.tsv）と抽出プログラムを使用して、この問題に遭遇しました。誰かが私に何が起こるか教えてもらえますか?

エラーメッセージ：

頂点の失敗により、クイック ジョブが中止されました。頂点が失敗しました: SV1_Extract[0][0] エラー: 頂点ユーザー コード エラー。頂点がフェイルファスト エラーで失敗しました

スクリプト コード:

コードビハインド:

サンプル ファイルの一部:

ジョブ リソースで、jobError メッセージが見つかりました:

"入力ストリームの予期しない列数。"-"説明":"行 1 の入力レコードの予期しない列数。\n予期された 2 列 - 1 列のうち 1 列を処理。エラーを検出するか、\"silent\" スイッチを使用して、入力内のサイズが大きすぎる (小さすぎる) 行を無視します。\n\"無効な\" 行を無視すると、ジョブの結果に影響する可能性があることを考慮してください。

しかし、ファイルをもう一度確認したところ、間違った列数は表示されません。ファイルの分割と配布が正しくないためにエラーが発生する可能性はありますか? 大きなファイルを並行して抽出できることを読みました。下手な英語でごめんなさい。