ShellCommandActivity の Amazon Data Pipeline の一部として、いくつかの追加機能 (lftp など) をインストールして、Amazon Linux 64 ビットを実行している EC2 インスタンスで次のスクリプトを実行しようとしています。

行を削除すると、while完了まで実行されます (ShellCommandActivity は FINISHED ステータスに達します) が、そこにある場合、ShellCommandActivity が WAITING_ON_DEPENDENCIES ステータスになるという意味で、スクリプトは「失敗」します。

残念ながら、この場合、Data Pipeline サービスはログを書き出さないため、なぜ問題が発生するのかわかりません。同じイメージとインスタンス タイプでインスタンスを作成し、ボックスにログインして、自分でコマンドを実行します。

コードからすでに明らかなように、これらすべての目的は、S3 バケット内のファイルを sftp サーバーから削除することです。

ノート：

• INPUT1_STAGING_DIRは S3 バケットであり、その部分は Data Pipeline によって管理されており、この部分が機能していることは既に確認済みです
• スクリプトは実際にはすべて 1 行で実行されます。実行しやすいように行は分割されていますが、展開すると、4 行すべてがそれぞれの間にスペースがあるだけで連結されます。したがって、&&各行の最後と;3 行目のすべてが連結されます。

便宜上、より適切なフォーマットのコードを次に示します。

aws データ パイプラインで bash スクリプトを使用して ruby​​ ファイルを呼び出す必要があります

コマンド引数でシェルコマンドアクティビティを使用してみました

jsonファイル

sample.rb

s3 パスの指定方法がわかりません ("command": "bash -lc 'cd ~/pipeline_test(bucket_name)/inputs/ && ruby​​ sample.rb'", )

私はスクリプト終了ステータス1を取得しています

それを解決するために私を助けてください。

毎日ハイブ スクリプトを自動化したいのですが、そのためにデータ パイプラインというオプションがあります。しかし、問題は、dynamo-db から s3 にデータをエクスポートしていて、ハイブ スクリプトを使用してこのデータを操作していることです。ハイブアクティビティには入力と出力が必要ですが、スクリプトファイルでそれらを提供する必要があるため、問題が発生する場所であるハイブスクリプトでこの入力と出力を提供しています。

このハイブスクリプトを自動化する方法を見つけようとしていて、いくつかのアイデアを待っていますか?

乾杯、

dynamoDB からデータをエクスポートして s3 にインポートするデータ パイプラインを作成したいと考えています。すべて問題ないようですが、dynamoDB のデータはバイナリであり、パイプライン設定がバイナリとして受け入れられないため、問題があります。

私はそれについて何ができますか？

乾杯、

外部ウェブサーバーにあるいくつかのログファイルを Amazon S3 バケットに移動しようとしています。これは、手動でアクティブ化せずに 7 日ごとに発生するはずです。また、「フェイルセーフ」にしたいので、コピー操作はAmazonクラウドで行うのがベストでしょう。AWS Data Pipelining ソリューションについては既に読んだことがありますが、ウェブサーバーからファイルをダウンロードして処理することは言うまでもなく、外部 (Amazon によってホストされていないことを意味します) データソースと連携させる方法については何も見つかりませんでした。それ。誰かが同様の問題の経験があり、どこから始めるべきかアドバイスはありますか?

ありがとうございました！

リソースとして EMR クラスターを使用してデータ パイプラインを作成しています。サーバーはブートストラップ後に作成しているため、いくつかのステップを自動的に実行しています。

すべて大丈夫です。

しかし、そこから豚をインストールするステップを削除したいと思います。それを行う方法はありますか？