この質問を正しく構成しているかどうかさえわかりませんが、試してみます-LinuxシステムでのOracleエクスポートから生成された巨大なテキストファイルがたくさんあります。各ファイルのサイズは約 30 GB で、約 50 個あります。目標は、このデータを Azure SQL Datawarehouse にエクスポートすることです。この場合、BCP はデータのサイズを維持する適切なアプローチではないため、Polybase を使用する必要がありました。ASCII から UTF8 エンコーディングに変換した後、外部テーブルのクエリ中に問題が発生しました。Polybase は、各行に改行がある固定幅のテキスト ファイルではうまく機能しません。
テキストファイルはこんな感じ
101,102,103,104,105,106,107
108,108,109,110,111,112,113
114,115,116,117,118,119,120
121,122,123
--nothing here, just a blank line
201,202,203,204,205,206,207
208,209,210,211,212,213,214
215,216,217
Polybase は 101 から 107 まで処理しようとしますが、このファイルには処理するのに十分な列がないというエラーが発生します。
これが私が起こっていると思うことです。固定幅と改行により、改行が行区切り文字として扱われます。
このファイルを次のように変換するにはどうすればよいですか。
101,102,103,104,105,106,107,108,108,109,110,111,112,113,114,115,116,117,118,119,120,121,122,123{CR}{LF}
201,202,203,204,205,206,207,208,209,210,211,212,213,214,215,216,217{CR}{LF}