問題タブ [batch-insert]

Doctrine Fixtures Bundle を介して Symfony2 と Doctrine で約 200k のレコードを挿入しようとしています。フラッシュとクリアを使用していますが、最終的にスクリプトは 1.8 GB の RAM を使用します。

これは、SmartMeter エンティティをデータベースにロードするクラスです。

約 5000 レコードで、フラッシュとクリアを呼び出していますが、メモリが解放されていないようです。

Doctrine がバッチタスク中に RAM を使いすぎないようにする方法についての推奨事項はありますか?

非常に高いレートで mysql にバッチ挿入を実行しようとしています。パフォーマンスに大きな影響を与える可能性があることを読んだので、 rewriteBatchedStatements 構成オプションを試してみたかったのです。ただし、オプションを追加すると、次の例外が発生します。

これは挿入を行う私のコードです:

これは私のjdbc URLです：

また、接続プールとして HikariCP を使用しています。

編集: 更新 - テーブルに varbinary(10000) 列があることに問題があるようです

codeigniter バッチ挿入を使用して約 3000 行を挿入しようとしていますが、問題は、バッチ内の 1 行が失敗すると、他の行の実行が停止し、そのクエリ エラーが出力されることです。

バッチに失敗したクエリがあり、失敗したクエリをログに記録しても、実行を続行できますか?

$this->db->query は $this->db->insert_batch(); よりも多くの時間と接続を必要とするため、使用したくありません。また、この挿入操作は 5 分ごとに実行される cron スクリプトであるため、この挿入操作はトランザクション データベースで実行されるため、最速の方法を使用することをお勧めします。

次の方法でバッチ挿入を行っています

このメソッドはうまく機能していましたが、最近、次のエラーが発生し始めました。

このエラーに続くのは、実行しようとしている SQL 挿入コマンドです。それを dbconsole に直接入れると、正常に動作します。助言がありますか？