amazon-s3 - EC2 インスタンスから S3 内のファイルを読み取る

Question

AWS Data Pipeline を使用して EC2 インスタンスを開始し、S3 に保存されている Python スクリプトを実行したいと考えています。

出来ますか？Python スクリプトを使用して単一の ETL ステップを作成したいと考えています。

それは最善の方法ですか？

Answer 1

はい、可能であり、Shell Command Activity を使用すると比較的簡単です。

これまでにご提供いただいた詳細から、DataPipeline がオンデマンドで EC2 インスタンスをプロビジョニングし、その後シャットダウンするため、これが最善の方法のように思われます。

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

また、Data Pipeline の ShellCommndActivity に慣れるために従うことができるチュートリアルもあります。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-gettingstartedshell.html

Answer 2

はい、s3でデータを直接アップロードしてバックアップできます

http://awssolution.blogspot.in/2015/10/how-to-backup-share-and-organize-data.html