これは漠然とした質問かもしれません。毎日、それぞれに約50万行の4つのCSVファイルが与えられます。日次レポートを作成するには、それらに対して「結合」および「場所」と同等の RDMS 操作を実行する必要があります。たとえば、ワークフローは次のようになります。
- ID を持つ列に基づいて 2 つの CSV ファイルを結合する
- 日付列に基づいてデータセットを絞り込む
- いくつかの where 条件に基づいて、フィルター処理された新しいデータセットを別の CSV ファイルと結合します
- より多くの基準に基づいてそれらをさらにフィルタリングします
- .... // 繰り返す
- 最終的なデータセットを CSV ファイルに出力する
私はPHPスクリプトを書くことを考えていました：
- 各 CSV ファイルを MySQL などのリレーショナル データベースにロードする
- SQL を使用して結合条件と where 条件を実行する
- 結果を一時テーブルにロードする
- 2と3を繰り返す
- 最終データをテーブルにロードする
- テーブルを CSV ファイルにエクスポートします。
最善のアプローチは何だと思いますか?