1

C# を使用して、巨大な SQL ファイル (数 GB 以上) をリモートの mysql サーバーにアップロードしようとしています。

標準的な方法はありますか;

  1. SQL ファイルのメモリへの読み取りを開始する
  2. 使えるものができたらやめる
  3. そのビットを実行する
  4. そのビットをメモリから削除します
  5. 次の使用可能な部分まで読み取る
  6. 等。

または、正規表現などを自分で作成する必要がありますか? ファイルが大きすぎて、一度にメモリに読み込めません。

SQLファイルの1つの開始（それがまったく役立つ場合）

-- MySQL dump 10.13  Distrib 5.1.49, for debian-linux-gnu (x86_64)
--
-- Host: localhost    Database: qqqq
-- ------------------------------------------------------
-- Server version   5.1.49-3

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Current Database: `qqqq`
--

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `qqqq` /*!40100 DEFAULT CHARACTER SET latin1 */;

USE `qqqq`;

--
-- Table structure for table `config`
--

DROP TABLE IF EXISTS `config`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `config` (
  `name` varchar(200) NOT NULL,
  `value` varchar(200) NOT NULL,
  `timestamp` int(11) NOT NULL,
  UNIQUE KEY `name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `config`
--

LOCK TABLES `config` WRITE;
/*!40000 ALTER TABLE `config` DISABLE KEYS */;
INSERT INTO `config` VALUES ('someConfigValue','324',0),('someConfigValue2','27',0),('someConfigValue3','0',0);
/*!40000 ALTER TABLE `config` ENABLE KEYS */;
UNLOCK TABLES;

毎回分割することはできないと思います。それらの 1 つがテキスト文字列内にもある可能性があるためです。

4

4 に答える 4

3

ユーティリティでこのダンプを作成したので、部分的mysqldumpにダンプすることをお勧めします。部分ダンプのいくつかのトリックを次に示します。

テーブルごとに分割

多くのテーブルがある場合は、ダンプ プロセスをテーブルごとに分割できます。

mysqldump database table1 > table.sql
mysqldump database table2 table3 > table2-3.sql

行ごとに分割

何百万もの行があるテーブルがある場合は、ダンプ中に行ごとに分割できます。テーブルbigtableがあり、自動列があるとしidます。次の 2 つのコマンドは、奇数の偶数番号の自動列で分割します。

mysqldump --where="id%2=1" database bigtable  > bigtable_part1.sql
mysqldump --where="id%2=0" database bigtable  > bigtable_part2.sql

自動列が存在しない場合は、他のヒューリスティックに依存する必要があります。

mysqldump --where="gender='M'" database users  > users_male.sql
mysqldump --where="gender='F'" database users  > users_female.sql
于 2012-05-28T13:24:52.580 に答える
0

一般的なブレークポイント、またはSQLファイルを分割しても安全な同様の場所を探してみてください。例えば：

--
-- (command here)
--

操作のブロックの前にある「重要な」コマンドを示すために使用されているようです。--\n--改行はクエリ内でエスケープする必要があるため、一般的な「セーフスポット」としてすべてに分割してみることができます。

于 2012-05-28T13:18:21.087 に答える
0

同様の問題があり、システム分割コマンドを使用してSQLファイルを分割することになりました。

split -l 1000 import.sql splited_file

上記は、1000 行ごとに sql ファイルを分割します。

これが誰かに役立つことを願っています。

于 2013-06-26T10:21:37.977 に答える
0

SQL の一部をメモリにロードし、「SET PARSEONLY ON」を使用してサーバー上で実行することができます。問題なく解析できた場合は、試行して実行し、次に進みます。そうでない場合は、テキストの小さなチャンクを (次の ';' まで) ロードして、再試行します。

もちろん、問題なく解析されたからといって問題なく実行されるわけではありませんが、実行に失敗した場合のエラー処理がすでにあると思いますよね？:)

于 2012-05-28T13:21:42.890 に答える