amazon-data-pipeline - AWS Data Pipeline を使用してオンプレミス データを S3 にコピーする

Question

AWS Data Pipeline を使用してオンプレミス SQL データベースから Amazon S3 にデータをインポートするにはどうすればよいですか? チュートリアルへのリンクは非常に役立ちます。

Answer 1

オンプレミスで Task Runner を実行する必要があります。そのタスク ランナーは、SQL データベースから S3 にデータをエクスポートできるパイプラインを実行できます。

データベースが MySQL の場合、データを直接エクスポートできます。以下のチュートリアルに示すように。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql.html

MySQL でない場合は、自分でエクスポート ジョブを作成する必要があります。たとえば。Talend DIを使用してETLスクリプトを作成し、シェルアクティビティでTalendジョブをラップします。

オンプレミスの Task Runner テンプレートもあります。
http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-localmysqltords.html