ここでは、mysql データベースにインポートするためのスクリプトを使用して、かなり大きなデータ コレクションを取得しています。データは約 40GB であり、インポート中に使用されるリソースは、mysql が使用できるリソースよりもはるかに少なく、インポートに時間がかかります。CPU はせいぜい 50% です。
私はそれをより速くする方法を少し疑問に思っていました.GoogleはLOAD DATA INFILEがかなり最速の方法であると言っていましたが、残念ながら私のスクリプトはすでにそれを使用しています
mysql -u$USR -p$PW $3 -e "LOAD DATA INFILE '`pwd`/data' INTO TABLE mydata;";
前回、バックグラウンドではなく、コマンド プロンプトで対話的にインポートを実行しました。この種のものの実際の速度に影響を与える fi を疑問に思っていましたか?
インポートを高速化する方法について、他のアイデアやアドバイスを持っている人はいますか? 少なくとも、mysql が貪欲にすべての CPU 時間を消費することを除けば、そうではありません。インポートを 2 日間実行することはできますが、完了するはずです (実際に 1 日試してみましたが、まだ完了していません....~30GB でコンピューターを移動してインポートする必要がありました)。自分のコンピュータにあるリソースをフルに活用する