定義されたタイム スライスで、Azure Data Factory のパイプラインの一部として U-SQL アクティビティを実行しています。U-SQL アクティビティは、Azure Data Lake に格納されているデータを読み込んで処理する一連の U-SQL スクリプトを実行します。ローカル実行ではデータが正常に処理されますが、Azure Data Factory クラウド環境で実行すると System Out of Memory Exception がスローされます。
入力データは約 200MB ですが、これよりも大きなデータ セットが以前に処理されているため、処理に問題はありません。
メモリ管理は必要に応じてスケーリングされると想定されています。Azure クラウド環境でメモリ不足の例外が発生するのは驚くべきことです。次に示すのは、同じ入力データに対する 2 つの実行の例外スナップショットです。唯一の違いは、それらが発生した時間です。
どんな援助でも大歓迎です、ありがとう。
さらなる更新: さらに調査したところ、変数skipNRow:1を使用してヘッダー行をスキップすることが観察され、問題が再解決されました。u-sql コード ビハインド スニペットには、日付比較を条件とするループがあります。ループが終了しない可能性があるためです。スニペットが DateTime タイプの行の列を入力として処理している場合、ヘッダー行の列の無効な日時キャストの。理想的には、無効な日時形式の例外が発生するはずですが、代わりにメモリ不足の例外が発生します。