大きな .csv ファイルをデータベースにロードしていますが、誤ったレコードをスキップしてログに記録できる pgloader を使用したいと考えています。しかし、私は頻繁に取得します
ERROR PostgreSQL Database error 22021: invalid byte sequence for encoding "UTF8": 0x00
私が最初に考えたのは0x00、データの文字によるものでした。これらを削除するさまざまな方法を試してみましたが、30文字以上のタイムスタンプなどのいくつかの変数が問題を引き起こしているように見えることがわかりました。例えば17:46:30 +0000。データを変更せずにこの問題を処理する方法を知っている人はいますか? 私のレコードの約 2/3 にこの問題があります。理想的には、同じ手順を使用してデータをインポートできる修正を探しています。