python - バルクローダーCSVサイズエラー

Question

大きなセルを含むCSVファイルをインポートすると、バルクローダーで次のエラーが発生します。

[ERROR   ] Error in data source thread: field larger than field limit (131072)

これはcsvモジュールの一般的な問題であり、次の方法で修正できます。

csv.field_size_limit(sys.maxint)

バルクローダーにこれを実行させるにはどうすればよいですか？

Answer 1

これを試して：

bulkloader.yaml に以下を追加します。

python_preamble:
- import: csv_fix
... # the rest of your imports

csv_fix.py に次を追加します。

import csv, sys
csv.field_size_limit(sys.maxint)