問題タブ [load-data-infile]

大きな CSV ファイルの読み取りを処理するための適切なプログラムはありますか? 私が扱うデータファイルのいくつかは、1 GB の範囲にあります。行数が多すぎて、Excel で処理することすらできません。Access を使用すると、実際にデータベースにインポートして直接操作する必要があるため、少し時間がかかる場合があります。大きな CSV ファイルを開き、データを簡単かつ迅速にスキャンするのに役立つ単純なスプレッドシート レイアウトを提供できるプログラムはありますか?

リモート サーバーからホーム サーバーに MySQL テーブルのデータを簡単にエクスポートしてインポートする方法が必要です。サーバーに直接アクセスすることはできず、phpMyAdmin などのユーティリティもインストールされていません。ただし、サーバーに PHP スクリプトを配置することはできます。

データを取得するにはどうすればよいですか?

この質問は、私のやり方を記録するためだけに行います

大きな (24MB) テキスト ファイルを MySQL テーブルにインポートする必要があります。各行は次のようになります。

各フィールドの後には 1 つ以上のスペースがあり、最後のフィールドの末尾には改行の前に約 36 個のスペースがあります。

このようなファイルを MySQL にインポートするにはどうすればよいですか? ドキュメントから、LOAD DATA はすべてのフィールドがまったく同じ文字列で終了することを期待しているようです。私が試してみました

しかし、MySQL は複数のスペースのシーケンスを空のフィールドを区切るものとして解釈します。

何か案は？

フラットファイルから MySQL データベースにデータをロードし、外部キーを介してテーブル間の関係を作成する最速の方法は何ですか?

たとえば...次の形式のフラットファイルがあります。

4 つのテーブルにロードする必要があります。

具体的には、スケールする方法で外部キーをどのように設定しますか? 数値は 1000 人以上の範囲にあり、それぞれが 100 万以上の遺伝子型を持っています。

csv データを mysql にインポートして、列名を自動的に作成することは可能ですか?

インポート時に重複エントリをチェックすることはできますか? 識別子フィールドがありますが、2 回インポートされないようにする方法がわかりません。

Web サイトの jpeg ファイルをどのようにフィールドにインポートしますか? Web サイトがローカルに保存されており、識別子と同じファイル名の末尾に「.jpeg」が追加されているとします。

大きな XML ファイルを解析し、insert ステートメントを含むファイルを作成するプログラムを C で作成しました。他のプロセスがファイルを MySQL データベースに取り込みます。このデータはインデックス サービスとして機能するため、ユーザーはドキュメントを簡単に見つけることができます。

行レベルのロック機能のために InnoDB を選択しました。C プログラムは、特定の呼び出しで 500 から 500 万の挿入ステートメントを生成します。

このすべてのデータをできるだけ早くデータベースに入れる最善の方法は何ですか? もう 1 つの注意点は、DB が別のサーバー上にあることです。挿入を高速化するためにファイルをそのサーバーに移動する価値はありますか?

編集: このテーブルは実際には更新されませんが、行は削除されます。

MySQL では、ステートメント ベースのレプリケーションを使用して、すべての SQL ステートメントがマスターとまったく同じ方法でスレーブ上で実行されると想定しています。ただし、ステートメントを実行すると:

ファイルがマスターと同じようにスレーブに存在する必要があるかどうかはわかりません。この機能のドキュメントを教えてもらえますか?

アプリケーションを使用して、テキスト ファイルから mysql にデータをインポートしました。次のコードを使用しました。

しかし、テキストから mysql にデータをロードするクエリは null です。どこで間違いを犯したか教えてもらえますか？

これは私のコマンドラインクエリです。

エラー 1064 (42000): SQL 構文にエラーがあります。MySQL サーバーのバージョンに対応するマニュアルを参照して、1 行目の「\n'set Dateformat=str_to_date(Date'' at line 1

どこが悪いのかわからない！誰でも私を助けることができますか？

MYSQL テーブルに挿入する大量のデータがあります。一度に 10k を使用します。私が行っているのは、データを XML ファイルに保存してから挿入することです (データは約 50K 行です)。かなりの時間がかかります。の時間、MySQL テーブルに一括挿入するオプションはありますか。

事前に感謝します,
助けてください.