134

挿入コマンドを使用して PHP 経由で大規模なデータセットを MySQL テーブルに渡しています。それを実行します。私は CodeIgniter フレームワークを使用しているので、その機能も利用できます。

4

13 に答える 13

241

INSERTMySQL では、複数の行を持つ 1 つのステートメントを組み立てる方が、INSERT行ごとに 1 つのステートメントを組み立てるよりもはるかに高速です。

そうは言っても、PHP で文字列処理の問題が発生しているように思えますが、これは実際にはアルゴリズムの問​​題であり、言語の問題ではありません。基本的に、大きな文字列を扱うときは、不要なコピーを最小限に抑えたいと考えています。主に、これは連結を避けたいことを意味します。数百行を一度に挿入する場合など、大きな文字列を構築するための最速かつ最もメモリ効率の良い方法は、implode()関数と配列の割り当てを利用することです。

$sql = array(); 
foreach( $data as $row ) {
    $sql[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';
}
mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $sql));

このアプローチの利点は、これまで連結ごとに組み立てた SQL ステートメントをコピーして再コピーする必要がないことです。代わりに、PHP はこれをステートメント内で1 回行います。implode()これは大きな勝利です。

まとめる列がたくさんあり、1 つまたは複数が非常に長い場合は、内側のループを構築して同じことを行いimplode()、values 句を外側の配列に割り当てるために使用することもできます。

于 2009-04-23T02:06:55.690 に答える
63

複数の挿入/バッチ挿入が CodeIgniter でサポートされるようになりました。

$data = array(
   array(
      'title' => 'My title' ,
      'name' => 'My Name' ,
      'date' => 'My date'
   ),
   array(
      'title' => 'Another title' ,
      'name' => 'Another Name' ,
      'date' => 'Another date'
   )
);

$this->db->insert_batch('mytable', $data);

// Produces: INSERT INTO mytable (title, name, date) VALUES ('My title', 'My name', 'My date'), ('Another title', 'Another name', 'Another date')
于 2012-03-21T12:41:04.673 に答える
22

mysqli_stmtクラスを使用して1つの行を挿入するためのクエリを準備してから、データの配列を反復処理することができます。何かのようなもの：

$stmt =  $db->stmt_init();
$stmt->prepare("INSERT INTO mytbl (fld1, fld2, fld3, fld4) VALUES(?, ?, ?, ?)");
foreach($myarray as $row)
{
    $stmt->bind_param('idsb', $row['fld1'], $row['fld2'], $row['fld3'], $row['fld4']);
    $stmt->execute();
}
$stmt->close();

ここで、「idsb」はバインドするデータのタイプ（int、double、string、blob）です。

于 2009-04-23T01:59:31.137 に答える
15

PHP 5 の mysqli は、上記の回答の挿入時間を短縮できるいくつかの優れた機能を備えたオブジェクトです。

$mysqli->autocommit(FALSE);
$mysqli->multi_query($sqlCombined);
$mysqli->autocommit(TRUE);

多くの行を挿入するときに自動コミットをオフにすると、挿入が大幅に高速化されるため、オフにしてから上記のように実行するか、セミコロンで区切られた多数の挿入ステートメントである文字列 (sqlCombined) を作成し、マルチクエリでそれらを適切に処理します。

于 2011-03-06T22:05:26.280 に答える
8

常に mysql を使用できますLOAD DATA:

LOAD DATA LOCAL INFILE '/full/path/to/file/foo.csv' INTO TABLE `footable` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n'

INSERT一連のステートメントを使用するのではなく、一括挿入を行います。

于 2009-04-23T02:06:27.330 に答える
4

1000 回のクエリ呼び出しを実行する必要はありませんが、これを行うことは問題ありません。

$stmt= array( 'array of statements' );
$query= 'INSERT INTO yourtable (col1,col2,col3) VALUES ';
foreach( $stmt AS $k => $v ) {
  $query.= '(' .$v. ')'; // NOTE: you'll have to change to suit
  if ( $k !== sizeof($stmt)-1 ) $query.= ', ';
}
$r= mysql_query($query);

データ ソースによっては、ファイルを開き、file().

于 2009-04-23T02:04:06.337 に答える
1

codeigniter でいくつかの方法でそれを行うことができます。

最初の By ループ

foreach($myarray as $row)
{
   $data = array("first"=>$row->first,"second"=>$row->sec);
   $this->db->insert('table_name',$data);
}

2 番目-- 挿入バッチによる

$data = array(
       array(
          'first' => $myarray[0]['first'] ,
          'second' => $myarray[0]['sec'],
        ),
       array(
          'first' => $myarray[1]['first'] ,
          'second' => $myarray[1]['sec'],
        ),
    );

    $this->db->insert_batch('table_name', $data);

3 番目の方法 -- 複数の値を渡す方法

$sql = array(); 
foreach( $myarray as $row ) {
    $sql[] = '("'.mysql_real_escape_string($row['first']).'", '.$row['sec'].')';
}
mysql_query('INSERT INTO table (first, second) VALUES '.implode(',', $sql));
于 2016-08-22T10:34:26.657 に答える
0

次のように使用される複数行を実行するクラスを作成しました。

$pdo->beginTransaction();
$pmi = new PDOMultiLineInserter($pdo, "foo", array("a","b","c","e"), 10);
$pmi->insertRow($data);
// ....
$pmi->insertRow($data);
$pmi->purgeRemainingInserts();
$pdo->commit();

クラスは次のように定義されます。

class PDOMultiLineInserter {
    private $_purgeAtCount;
    private $_bigInsertQuery, $_singleInsertQuery;
    private $_currentlyInsertingRows  = array();
    private $_currentlyInsertingCount = 0;
    private $_numberOfFields;
    private $_error;
    private $_insertCount = 0;

    /**
     * Create a PDOMultiLine Insert object.
     *
     * @param PDO $pdo              The PDO connection
     * @param type $tableName       The table name
     * @param type $fieldsAsArray   An array of the fields being inserted
     * @param type $bigInsertCount  How many rows to collect before performing an insert.
     */
    function __construct(PDO $pdo, $tableName, $fieldsAsArray, $bigInsertCount = 100) {
        $this->_numberOfFields = count($fieldsAsArray);
        $insertIntoPortion = "REPLACE INTO `$tableName` (`".implode("`,`", $fieldsAsArray)."`) VALUES";
        $questionMarks  = " (?".str_repeat(",?", $this->_numberOfFields - 1).")";

        $this->_purgeAtCount = $bigInsertCount;
        $this->_bigInsertQuery    = $pdo->prepare($insertIntoPortion.$questionMarks.str_repeat(", ".$questionMarks, $bigInsertCount - 1));
        $this->_singleInsertQuery = $pdo->prepare($insertIntoPortion.$questionMarks);
    }

    function insertRow($rowData) {
        // @todo Compare speed
        // $this->_currentlyInsertingRows = array_merge($this->_currentlyInsertingRows, $rowData);
        foreach($rowData as $v) array_push($this->_currentlyInsertingRows, $v);
        //
        if (++$this->_currentlyInsertingCount == $this->_purgeAtCount) {
            if ($this->_bigInsertQuery->execute($this->_currentlyInsertingRows) === FALSE) {
                $this->_error = "Failed to perform a multi-insert (after {$this->_insertCount} inserts), the following errors occurred:".implode('<br/>', $this->_bigInsertQuery->errorInfo());
                return false;
            }
            $this->_insertCount++;

            $this->_currentlyInsertingCount = 0;
            $this->_currentlyInsertingRows = array();
        }
        return true;
    }

    function purgeRemainingInserts() {
        while ($this->_currentlyInsertingCount > 0) {
            $singleInsertData = array();
            // @todo Compare speed - http://www.evardsson.com/blog/2010/02/05/comparing-php-array_shift-to-array_pop/
            // for ($i = 0; $i < $this->_numberOfFields; $i++) $singleInsertData[] = array_pop($this->_currentlyInsertingRows); array_reverse($singleInsertData);
            for ($i = 0; $i < $this->_numberOfFields; $i++)     array_unshift($singleInsertData, array_pop($this->_currentlyInsertingRows));

            if ($this->_singleInsertQuery->execute($singleInsertData) === FALSE) {
                $this->_error = "Failed to perform a small-insert (whilst purging the remaining rows; the following errors occurred:".implode('<br/>', $this->_singleInsertQuery->errorInfo());
                return false;
            }
            $this->_currentlyInsertingCount--;
        }
    }

    public function getError() {
        return $this->_error;
    }
}
于 2014-05-28T06:44:47.450 に答える
0

複数行のデータを挿入するには、codeigniter で insert batch を使用します。

$this->db->insert_batch('tabname',$data_array); // $data_array holds the value to be inserted
于 2015-03-06T11:46:16.383 に答える