それぞれ 5 ～ 10 秒ごとに 3 つの異なる csv ファイルが送られてきます。これらの csv ファイルを、更新条件に基づいて 1 つにマージして、ほぼリアルタイムのレポートを作成したいと考えています。私の現在のシステムでは、ファイルを s3 から redshift に 10 秒ごとにプッシュしますが、テーブルを結合するために必要な速度を達成できません。
それぞれ 5 ～ 10 秒ごとに 3 つの異なる csv ファイルが送られてきます。これらの csv ファイルを、更新条件に基づいて 1 つにマージして、ほぼリアルタイムのレポートを作成したいと考えています。私の現在のシステムでは、ファイルを s3 から redshift に 10 秒ごとにプッシュしますが、テーブルを結合するために必要な速度を達成できません。