Amazon データ パイプラインで sqlActivity を使用して、データを redshift テーブルにコピーしています。
part-00000.gz のようなファイル名を 1 つ指定すると、スクリプトは正常に実行されますが、ワイルドカード.gz を指定してディレクトリ内のすべてのファイルを選択すると、ワイルドカードが実際にはファイル名と見なされるエラーが発生するため、ファイル名 Output/Prod/Bens_Analytics/2015/02/10/IP_To_FileName/ .gz が存在しません
取引を開始します。一時テーブル ip_to_filename_staging_table (bens_analytics_ip_to_filename など) を作成します。
's3://er-hadoop/Output/Prod/Bens_Analytics/2015/02/10/IP_To_FileName/*.gz' 資格情報 'aws_access_key_id=<>;aws_secret_access_key=<>' gzip 区切り文字 '\t' COMPUPDATE OFF から ip_to_filename_staging_table をコピーしますSTATUPDATE オフ;
bens_analytics_ip_to_filename を使用して ip_to_filename_staging_table から削除します。
bens_analytics_ip_to_filename に挿入する select * from ip_to_filename_staging_table;
テーブル ip_to_filename_staging_table を削除します。取引を終了します。