問題タブ [amazon-data-pipeline]

AWS Pipeline は、ShellCommandActivity が失敗したかどうか、および対応する on Fail アクションをいつ開始するかをどのように判断しますか? アクションが正しく行われたかどうかを確認し、アクティビティが成功したかどうかを AWS パイプラインに「伝える」コードをスクリプトに記述できますか?

データ パイプラインのドキュメントによると、EMRActivity Step コマンドは、通常の EMR ジョブとは異なる形式を使用します。

簡単な例を次に示します。

複数のバケットからデータを取得する必要があるとしましょう。これらの複数の入力を 1 つのステップ コマンドに渡すにはどうすればよいでしょうか?

通常の EMR ジョブのセットアップでは、入力パスをコンマで区切るだけですが、EmrActivity ではうまくいかないようです。

コピー アクティビティをセットアップしてデータを一時的な一意の場所に移動するのではなく、EmrActivity のソリューションに非常に興味があります。

ありがとう。

ShellCommandActivity で s3cmd というプログラムを使用する必要があります。これどうやってするの？新しい EC2 イメージを作成し (パイプラインなどに必要なすべてをインストールする必要があります)、パイプラインで指定する必要がありますか、または何かを追加できる既存のパイプライン EC2 イメージがありますか? また、実行してスクリプトにインストールしようとしましたsudo su yum -y install s3cmd

失敗しました：「sudo：申し訳ありませんが、sudoを実行するにはttyが必要です」

これが私のセットアップです: DataPipeline を使用して、外部 Web サーバーから S3 バケットにファイルをコピーしようとしています。これを行うために、パイプラインで指定された出力バケットにファイルをダウンロードするスクリプトを使用する ShellCommandActivity を使用しています。スクリプトでは、環境変数 ${OUTPUT1_STAGING_DIR} を使用してバケットを指定します。もちろん、パイプラインで「ステージング」を true にしました。スクリプトが終了すると、アクティビティの状態は「FAILED」になり、次のエラーが表示されます。

S3 へのローカル ファイルのステージングに失敗しました。計算したリクエストの署名が、提供された署名と一致しません。キーと署名方法を確認してください

stdout ファイルを見ると、スクリプトが正常に終了し、バケットへのステージングのみが機能していないことがわかります。

これはバケットの許可の問題である可能性があると考えていますが、何を変更する必要があるのか​​ わかりません!

バケットへのパスが間違って構成されているために人々がこのエラーを受け取ったいくつかの議論に出くわしたので、パイプライン データノード ディレクトリ パスでそれを行った方法は次のとおりです。

s3://testBucket

これは正しいです？

ここで何か助けていただければ幸いです！

シェル スクリプトで出力バケットに含まれるファイルを一覧表示するにはどうすればよいですか? ls ${OUTPUT1_STAGING_DIR} この名前のファイルまたはディレクトリがないというメッセージが表示されるため、機能しません。これを行う簡単な方法があると確信していますが、解決策が見つからないようです。

Amazon Data パイプラインと My error を使用して S3(.csv ファイル) から RDS(MySQL) にコピーしようとしています:

レコードのコピー中にエラーが発生しました
原因: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: 通信リンク障害

サーバーに正常に送信された最後のパケットは 0 ミリ秒前です。ドライバーがサーバーからパケットを受信して​​いません。
原因: 通信リンク障害

サーバーに正常に送信された最後のパケットは 0 ミリ秒前です。ドライバーがサーバーからパケットを受信して​​いません。
原因: 接続タイムアウト

注: 同じ接続文字列で RDS TO S3 を試したところ、うまくいきました! しかし、S3 から RDS が機能しない理由はわかりません。

AWS データ パイプラインを使用して、ある S3 バケット ディレクトリから別のディレクトリにファイルを転送 (つまり、ターゲット ディレクトリにコピーし、ソース ディレクトリから削除) したいと考えています。

ShellCommandActivity を使用してみて、ファイルをある S3 バケット/ディレクトリから別のバケット/ディレクトリに移動するスクリプトを作成しました。しかし、結果として、それはターゲット S3 バケット/ディレクトリにコピーされただけで、S3 ソース ディレクトリのファイルは削除されませんでした。

前もって感謝します！

私は AWS データパイプラインを初めて使用し、dynamoDb を S3 バケットにバックアップしてから、そのバックアップから復元された dynamoDb テーブルに復元し、レコードを検証する必要があります。つまり、S3 バックアップと復元された dynamoDb テーブルのレコード数を確認します。

誰かがこれを行う方法を教えてもらえますか? Dynamo から S3 および S3 から dynamo にレコードをコピーするためのテンプレートが datapipeline に既に存在することを私は知っています。

しかし、経験豊富な人から、同じデータパイプラインですべてのバックアップ、復元、および検証を行う方法、主に復元と検証の手順が必要でした。

どんな助けも貴重です

Hive や Pig は必要ありません。Amazon Data Pipeline はデフォルトで、スピンアップする EMR クラスターにそれらをインストールします。これにより、テストに必要以上に時間がかかります。インストールを無効にする方法についてのアイデアはありますか?