誰かがこれらを手伝ってくれませんか。greenplum データベースに挿入する必要がある約 500Mb-1Gb の非常に大きなファイル (5 列の csv 形式) を取得しました。ソースファイルを使用してオプション --mode=lines でこれらのファイルを読み取り、gpfdist をシンクしてこれらのデータを greenplum にインポートしますが、この操作の速度は非常に遅くなります。どうすればこれを調整できますか?? 私はオプションのバッチカウント、フラッシュカウント、フラッシュタイム、バッチタイムなどを変更しようとしましたが、うまくいきませんでした。gpload を使用すると、ファイル ~800Mb を挿入するのに ~20 ～ 30 秒しかかかりません。
file --directory=/data --filename-pattern=*.csv --mode=lines --prevent-duplicates=false --markers-json=false | gpfdist --db-user=**** --db-name=**** --column-delimiter=, --mode=insert --gpfdist-port=8000 --db-password=**** --db-host=**** --table=test --flush-count=200 --batch-count=1000000 --batch-period=2
tnx