MySQLには、テーブルごとにカンマ区切り値ファイルにデータを格納するネイティブCSVストレージエンジンがあることを知りました。
アップロードされたCSVファイルから直接テーブルを作成することは可能ですか?
CREATE TABLE USERS < PATH/USERS.CSV
ユーザーはどこusers.csv
にアップロードしますか?
MySQLには、テーブルごとにカンマ区切り値ファイルにデータを格納するネイティブCSVストレージエンジンがあることを知りました。
アップロードされたCSVファイルから直接テーブルを作成することは可能ですか?
CREATE TABLE USERS < PATH/USERS.CSV
ユーザーはどこusers.csv
にアップロードしますか?
CSVファイル用のUnixコマンドラインツールのセットであるcsvkitを発見しました。を使用してMacにインストールしましたpip install csvkit
。コマンドは次のとおりです。
csvsql --dialect mysql --snifflimit 100000 bigdatafile.csv > maketable.sql
または、DB接続文字列を指定して、テーブルを直接ロードすることもできます。
これは不可能です。テーブルを作成するには、テーブルスキーマが必要です。あなたが持っているのはデータファイルです。それを使用してスキーマを作成することはできません。
ファイルにヘッダー行があるかどうかを確認できます。その場合は、そのヘッダー行を使用して手動でテーブルを作成できます。
ただし、 MySQLマニュアルのコメントセクションでJohn Swapceinskiが説明しているように、バッチファイルを使用してcreatetableステートメントを生成する方法があります。
JohnSwapceinskiによって2011年9月5日5:33amに投稿されました。
.csvファイルのヘッダーを使用してテーブルを作成します。
#!/bin/sh
# pass in the file name as an argument: ./mktable filename.csv
echo "create table $1 ( "
head -1 $1 | sed -e 's/,/ varchar(255),\n/g'
echo " varchar(255) );"
データをインポートするMySQLWorkbenchを使用することをお勧めします。Workbenchを使用すると、ユーザーはCSVまたはJSON形式のファイルから新しいテーブルを作成できます。ウィザードを数回クリックするだけで、テーブルスキーマとデータのインポートを処理します。
MySQL Workbenchで、テーブルリストのコンテキストメニューを使用して、をクリックしますTable Data Import Wizard
。
MySQLWorkbench6.5.1テーブルデータのエクスポートおよびインポートウィザードのドキュメントの詳細。ここからMySQLWorkbenchをダウンロードします。
MySQLフロントエンドとしてphpMyAdminを使用している場合は、より簡単な方法があります。
問題がある場合は、問題ありません。データベースを削除して、再試行してください。
「CSVをSQLに変換する」が役に立ちました。CSVファイルを追加すれば準備完了です。
前述の他のソリューションに加えて、Macユーザーは、SQL ProにCSVインポートオプションがあり、かなりうまく機能し、柔軟性があることに注意してください。インポート時に列名とフィールドタイプを変更できます。新しいテーブルを選択してください。そうしないと、最初の対話がやや落胆するように見える可能性があります。
SequelPro -MySQLデータベースを操作するためのデータベース管理アプリケーション。
誰かがPHPソリューションを探している場合は、「PHP_MySQL_wrapper」を参照してください。
$db = new MySQL_wrapper(MySQL_HOST, MySQL_USER, MySQL_PASS, MySQL_DB);
$db->connect();
// this sample gets column names from first row of file
//$db->createTableFromCSV('test_files/countrylist.csv', 'csv_to_table_test');
// this sample generates column names
$db->createTableFromCSV('test_files/countrylist1.csv', 'csv_to_table_test_no_column_names', ',', '"', '\\', 0, array(), 'generate', '\r\n');
/** Create table from CSV file and imports CSV data to Table with possibility to update rows while import.
* @param string $file - CSV File path
* @param string $table - Table name
* @param string $delimiter - COLUMNS TERMINATED BY (Default: ',')
* @param string $enclosure - OPTIONALLY ENCLOSED BY (Default: '"')
* @param string $escape - ESCAPED BY (Default: '\')
* @param integer $ignore - Number of ignored rows (Default: 1)
* @param array $update - If row fields needed to be updated eg date format or increment (SQL format only @FIELD is variable with content of that field in CSV row) $update = array('SOME_DATE' => 'STR_TO_DATE(@SOME_DATE, "%d/%m/%Y")', 'SOME_INCREMENT' => '@SOME_INCREMENT + 1')
* @param string $getColumnsFrom - Get Columns Names from (file or generate) - this is important if there is update while inserting (Default: file)
* @param string $newLine - New line delimiter (Default: \n)
* @return number of inserted rows or false
*/
// function createTableFromCSV($file, $table, $delimiter = ',', $enclosure = '"', $escape = '\\', $ignore = 1, $update = array(), $getColumnsFrom = 'file', $newLine = '\r\n')
$db->close();
ニーズに合わせてshiplu.mokadd.imのスクリプトを採用しました。誰が興味を持っているか:
#!/bin/bash
if [ "$#" -lt 2 ]; then
if [ "$#" -lt 1 ]; then
echo "usage: $0 [path to csv file] <table name> > [sql filename]"
exit 1
fi
TABLENAME=$1
else
TABLENAME=$2
fi
echo "CREATE TABLE $TABLENAME ( "
FIRSTLINE=$(head -1 $1)
# convert lowercase characters to uppercase
FIRSTLINE=$(echo $FIRSTLINE | tr '[:lower:]' '[:upper:]')
# remove spaces
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/ /_/g')
# add tab char to the beginning of line
FIRSTLINE=$(echo "\t$FIRSTLINE")
# add tabs and newline characters
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/,\\n\\t/g')
# add VARCHAR
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/ VARCHAR(255),/g')
# print out result
echo -e $FIRSTLINE" VARCHAR(255));"
これは不可能ですが、既存のテーブルファイルを上書きすることはできます。ただし、Windowsで作業しているかどうかに関係なく、ファイルの行末はUNIXスタイル(\ r \ nで終わる)ではなく、UNIXスタイル(\ r \ nで終わる)であることを確認してください。
私はまさにそれを行うWindowsコマンドラインツールを作成しました。
ここからダウンロードできます:http://commandline.dk/csv2ddl.htm
使用法:
C:\Temp>csv2ddl.exe mysql test.csv test.sql
または
C:\Temp>csv2ddl.exe mysql advanced doublequote comma test.csv test.sql
Pythonを使用しても問題がない場合は、Pandasがうまく機能しました(私の場合、csvsqlは永久にハングしました)。何かのようなもの:
from sqlalchemy import create_engine
import pandas as pd
df = pd.read_csv('/PATH/TO/FILE.csv')
# Optional, set your indexes to get Primary Keys
df = df.set_index(['COL A', 'COL B'])
engine = create_engine('mysql://user:pass@host/db', echo=False)
df.to_sql(table_name, dwh_engine, index=False)
また、これは質問の一部であった「CSVエンジンの使用」の部分を解決しませんが、私も役立つかもしれません。
MySQLforExcelプラグインが役立ちます。
http://dev.mysql.com/doc/refman/5.6/en/mysql-for-excel.html
CSVファイルをExcelで開きます。このプラグインを使用して、Excelデータをリモートまたはローカルのmysqlサーバーの新しいテーブルにエクスポートできます。データ(上位100〜1000行)を分析し、対応するテーブルスキーマを作成します。