問題タブ [amazon-data-pipeline]

AWS Java SDK v1.7.5 を使用して AWS DataPipelines にアクセスしようとしていますが、以下のコードで listPipelines が空のリストを返しています。

米国東部リージョンで予定されている DataPipelines があります。これは、DataPipelineClient の listPipelines メソッドを使用して一覧表示できるはずです。私はすでに ProfilesConfigFile を使用して、S3、DynamoDB、および Kinesis に問題なく認証および接続しています。構成ファイルで指定された IAM ユーザーに PowerUserAccess アクセス ポリシーを付与しました。また、管理者アクセス ポリシーをユーザーに適用しようとしましたが、何も変わりませんでした。私が使用しているコードは次のとおりです。

s3 バケットとの間でデータを読み書きするアクティビティ (python スクリプト) がある AWS データ パイプラインがあります。最近、ソケット接続のクローズが原因で s3 からの読み取りが失敗するというアクティビティの失敗に気付きました。エラーは断続的です。障害は、スクリプトの同じ行で正確に発生します。

このコードでは、s3 から 1KB のチャンクでデータを読み取ります。失敗は、s3 のファイルからの読み取りの途中で発生します。EC2 インスタンスから s3 バケットへの接続数に上限があるかどうかは誰にもわかりませんか?

Pig スクリプトをローカルで使用して、Kinesis ストリームからデータを取得するにはどうすればよいですか?

Amazon のドキュメントからこの例に気付きましたが、Amazon キネシス ピッグ ライブラリをインポートする方法がわからず、例が不完全なようです。クレデンシャルをどこに設定すればよいか、キネシス ライブラリの jar はどこで入手できますか...など...彼らの例は grunt-shell のものですが、自分のマシンからローカルで実行するにはどうすればよいでしょうか?

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/kinesis-pig-generate-data.html

AWS Data Pipeline を使用してオンプレミス SQL データベースから Amazon S3 にデータをインポートするにはどうすればよいですか? チュートリアルへのリンクは非常に役立ちます。

「依存関係を待機中」のたびに、スタックして保留モードになるデータパイプがあります。

ここでは、入力と出力が必要な「Hive アクティビティ」を使用しています。私の場合、すべてのデータは Hadoop インフラストラクチャにあるため、S3 入力と S3 出力は必要ありません。ただし、datapipeline でエラーが発生するため、それらを削除する方法はありません。さらに、S3ノードが「存在する」という前提条件にもかかわらず、パイプはこの時点でスタックします。このパイプを実行するたびに、手動で S3node を "markfinish" する必要があります。その後はうまくいきます。

どんな洞察も役に立ちます。AWS Datapipeline のドキュメントには詳細が記載されていません。

AWS Data Pipeline を使用して、テキスト ファイルを RDS から S3 バケットに保存しています。ファイル名に日付と時間を次のように含めたいと思います。

S3DataNode FilePathを次のように指定しました。

パイプラインを保存しようとすると、次のエラーが発生します。

日付と時刻の関数に関する AWS Data Pipelineのドキュメントによると、これはformat関数を使用するための適切な構文です。

「ハードコーディングされた」日付と時刻を使用してパイプラインを保存すると、このエラーは発生せず、ファイルは期待どおりに S3 バケットとフォルダーにあります。

私の考えでは、「myDateTime」をどこかで定義するか、NOW() を使用する必要があります

"myDateTime" を現在の時刻 (NOW など) に設定する方法や、現在の時刻をFilePathで使用するようにフォーマットできるように回避策を教えてもらえますか?