問題タブ [load-data-infile]

MySQLからPostgreSQLへの切り替えを考えています。

PostgreSQLを使用するためのヒント、コツ、落とし穴は何ですか？

MySQLerは何に注意する必要がありますか？

参照：PostgreSQLとMySQLの違いは何ですか？
参照：MySQLからPostgreSQLへの移行

注-これは重複しているとは思いません。特に、回答の種類はかなり異なり、ここでの回答には実装の詳細がはるかに多く含まれています。これが私が探していたものです。

サイズが 1.5 GB または約 1.3 億行のテキスト ファイルがあります。このテキスト ファイルを MYSQL の同じ構造のテーブルにロードすると、

62Lack レコードのみをロードし、65K の警告と完了を表示します。レコードの半分しかロードしないのはなぜですか???

バッファサイズを増やす必要がありますか?? はいの場合、どのように??

またはその他の理由があります。

あなたたちは私を助けることができますか??

状況を整理させてください。適度な幅の MyISAM テーブルに適度な数の行 (1 日あたり約 10 ～ 20M) を挿入しようとしています。

その途方もない主キー以外の唯一のインデックスは、blah7、日付フィールドにあります。私たちは LOAD DATA INFILE を使用していますが、データのロードに約 2 時間かかるという、非常にひどいパフォーマンスだと思います。私は、LOAD DATA INFILE がそれより桁違いに速いと信じるようになりました。

興味深いことに、データをバッチ処理するために LOAD DATA INFILE も使用する脂肪の少ないテーブル (5 ～ 6 フィールド) があり、それらのテーブルのパフォーマンスが大幅に向上しています。レコードの数がかなり少ないため、大きなテーブルをロードするときにバッファ サイズの制限に達していて、ディスクに移動する必要があると思います (実際、ディスクに移動する以外に何が必要でしょうか)。そのような遅いロード時間を説明しますか?)。

...それが私の質問につながります。LOAD DATA INFILE コマンドを処理する際に最も重要な my.cnf 設定は何ですか?

SQL Server2008Expressの4つのテーブルからMySQLに約200万レコードを転送する必要があります。

C＃では、 Table-Valuedパラメーターを使用して、これらのレコードをトランザクション内に非常にすばやく挿入できます。（約50秒）。

C＃でMySQLに対して同様のことを行うにはどうすればよいですか？

フラットファイルデータベースダンプから新しいテーブルにデータを読み込もうとすると、アクセス許可エラーが発生します。ファイルとテーブルのスキーマが同じであることを知っているので、アクセス許可を微調整してみました。他に何を試すべきですか？

MySql 4 を実行している 2 つのサーバーにまたがる 1 つのテーブルがあります。これらをテスト環境用の 1 つのサーバーにマージする必要があります。

これらのテーブルには文字通りそれぞれ数百万のレコードがあり、それらが 2 つのサーバー上にある理由は、その巨大さのためです。テーブルの変更やページングは​​、パフォーマンスに多大な影響を与えます。

それらは実稼働環境にあるため、既存のサーバーでそれらを変更することはできません。

問題は、主キーが一意の自動増分フィールドであるため、交差があることです。

mysqldump コマンドを使用して特定のフィールドを無視する方法を見つけようとしましたが、 --disable-keys は、キーを完全に削除するのではなく、テーブルを変更するだけです。

この時点で、実際には一意である必要がある 2 つの一意のフィールドの組み合わせとして、主キーのチェックサムまたはハッシュを使用するようにデータベース構造を変更する必要があるように見えます... 私は本当にしたくありませんこれを行う。

ヘルプ！

PHP と MySQL を使用して、膨大な XML から解析された何千ものデータをデータベース テーブルに挿入しています。私の問題は、すべてのデータをテーブルに挿入するのに時間がかかりすぎることです。挿入プロセスがグループごとになるように、データを小さなグループに分割する方法はありますか? たとえば、データを 100 ずつ処理するスクリプトをどのように設定できますか? これが私のコードです：

}

*注: $itemList は約 62,000 で、まだ増え続けています。

データベースに挿入された新しいレコードを数える最も簡単な方法は何ですか? ロード クエリにカウント クエリを含めることはできますか?

それとも、既存の最後のレコードを記録し、その後に追加されたすべてのレコードをカウントするなど、より複雑なものが必要ですか?

編集：

mysql に直接渡されるスクリプトで LOAD DATA INFILE を使用する cron ジョブがあります。このデータは、php Web アプリケーションで使用されます。PHP Web アプリケーションの一部として、先週挿入されたレコード数を含む週次レポートを生成する必要があります。

mysql にパッチを適用したり、データベースのスキーマや構造を大幅に変更したりすることはできませんが、新しいテーブルやフィールドを追加することはできます。csv ファイルからレコードをカウントせず、この結果をテキストファイルなどに保存したいと思います。代わりに、クエリを使用して PHP 内からすべてを行うことを好みます。

mysqlデータベースにロードしたい均一な行がたくさんあるテキストファイルがありますが、ファイルは完全に均一ではありません。いくつかの雑多な情報のために最初にいくつかの行があり、6行ごとにタイムスタンプがあります。

私のファイル形式のため、「LOADDATAINFILE」はここでは答えのようには見えません。十分な柔軟性がないようです。

注：ファイルのヘッダーは、事前に決定された行数を占めます。タイムスタンプは予測可能ですが、無視する必要のあるポップアップする可能性のある他のランダムなメモがいくつかあります。それらは常に私がチェックできるいくつかのキーワードで始まります。

真ん中の私のファイルのサンプル：

これから、3つのフィールドに情報をロードする必要があります。最初のフィールドはファイル名である必要があり、他のフィールドは例に含まれています。各データ行の前にファイル名を追加することもできますが、スクリプトを使用してデータをロードする場合は、これは必要ない場合があります。

必要に応じてファイル形式を変更できますが、タイムスタンプとヘッダー情報を失いたくありません。

SQLAlchemyは、私がよく知っているpythonに適した選択肢のようです。

私は数千行のデータを持っているので、すでに持っているすべてのファイルのロードは最初は遅いかもしれませんが、その後、ファイルの新しい行をロードしたいだけです。したがって、重複する情報は必要ないため、ロードする内容を選択する必要があります。

テキストファイルからmysqlデータベースへの選択的なデータロード方法に関する提案はありますか？そしてそれを超えて、まだデータベースにないファイルの行にのみロードするために何を提案しますか？

皆さんありがとう。その間、SQLAlchemyをもう少し調べて、それでどこかに到達するかどうかを確認します。