競走馬データの CSV を週に 1 回アップロードするサイトがあります。CSV には、現在英国で登録されている約 19,000 頭の競走馬の詳細が含まれており、サイズは平均で約 1.3 MB です。そのcsvを処理し、馬が存在し、評価データが変更された場合は馬を更新し、存在しない場合は追加するスクリプトを持っています。馬が変わらない場合は、次の馬にスキップします。スクリプトは、テストとして使用するホストで実行されていたため、機能します。実行に 5 ～ 6 分かかりましたが (理想的とは言えませんが)、うまくいきました。
ただし、現在、クライアントのホストのステージング バージョンでテストしており、15 分間実行してから 504 タイムアウトを返しています。できる限り htaccess と php.ini の設定を微調整しました。
ホストは共有環境にあるため、MySQL の LOAD DATA を使用できないとのことです。
他にどのような代替アプローチを試しますか? または、たとえば、CSV をチャンクに分割し、それぞれに対して順番にプロセスを実行する方法はありますか?