問題タブ [amazon-data-pipeline]

Amazon-Data-Pipeline ツールを使用して、Amazon S3-Cloud から Amazon-Redshift にデータを転送しようとしています。

SQLステートメントの結果だけがRedshiftへの入力になるように、データを転送中にeG SQLステートメントでデータを変更することは可能ですか?

次のようなコピーコマンドしか見つかりませんでした：

ソース: https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-get-started-copy-data-cli.html

AWS データ パイプラインを使用して、dynamodb テーブルを毎週 S3 に自動的にバックアップします。
私のデータ パイプラインはすべて、2 週間前から機能しなくなりました。

調査の結果、EMR が「検証エラー」および「ユーザー アカウントのアクティブなキーが見つからないというエラーで終了しました」で失敗することがわかりました。その結果、すべてのジョブがタイムアウトします。

これはどういう意味ですか？
EMR での使用が許可されているインスタント型のリストへの変更を除外しました。
また、EMR ログを読み取ろうとしましたが、ログを作成するポイントに達していないようです (または、間違った場所でそれらを探しています)。

オン プリミズ Hadoop クラスター (ローカル ネットワーク内) に一定量のデータがあり、Amazon クラウド S3 Hadoop クラスターに一定量のデータがあります。どちらの場所でも、データはハイブ テーブルに存在します。

ローカルの Hadoop クラスターからハイブ クエリを起動したいのですが、このクエリは、ローカル クラスターのハイブ テーブルからのデータと、Amazon s3 Hadoop クラスターからのハイブ テーブルのデータを結合する必要があります。両方の場所からデータを結合し、結果を提供する必要があります

ローカルのハイブ シェルからクエリを発行しているため、ローカル クラスター環境に。

この問題は Amazon Data Pipeline で処理できますか? はいの場合は、道を案内してください。

ありがとう、 -スヨーダ

テンプレートを使用してコピーを作成しています。「S3」データ ノードでは、列データに「カンマ」が含まれているため、カスタム形式を構成しました。

私が使用しているカスタム データ形式には、次のプロパティがあります。

列区切り記号 " は PIPE ("|") で、レコード区切り記号は "\n" です

パイプラインを実行すると、データが S3 にロードされず、次のエラーが表示されます

レコードのコピー中にエラーが発生しました\n原因: java.lang.reflect.InvocationTargetException\n原因: null\n原因: レコード形式で引用符を定義する必要があります

誰もがこの問題に直面しました。

AWS のデータ パイプラインを使用して完了しようとしている処理タスクについてお聞きしたいのですが、うまくいきません。

基本的に、2 つの MySQL データベースを表す 2 つのデータ ノードがあり、データは定期的に抽出され、S3 バケットに配置されることになっています。このコピー アクティビティは、追加されたすべての行を毎日選択して正常に動作しています。たとえば、今日 - 1 日です。

ただし、収集されたデータを CSV として含むバケットは、これらのファイルを処理して情報を集約する EMR アクティビティの入力になる必要があります。問題は、既に処理されたファイルを削除または別のバケットに移動する方法がわからないため、すべてのファイルを毎日処理する必要がないことです。

明確にするために、パイプラインから S3 バケット内の既に処理されたファイルを移動または削除する方法を探しています。それをしてもいいですか？命名規則などに基づいて、EMR アクティビティで一部のファイルのみを処理する方法はありますか?

以前は機能していたデータ パイプライン定義を単純にデプロイしようとしています。今回は、別の AWS (本番 vs ステージング) アカウントと一致するようにロールを変更しました。

AWS CLI 経由でデプロイすると、次のメッセージが表示されます。

DataPipelineDefaultRole の定義は次のとおりです。

また、「DataPipelineDefaultRole」を再作成しようとすると、「インスタンス プロファイル ARN(s)」が空白になる場合があることにも気付きました。最後に、「hello world データ パイプライン テンプレート」のセットアップや手動の手順を組み合わせて、役割を再作成することができました。(インスタンス ARN が存在する場合)

役割が次のように設定されていても：

それは動作しません。

私は何を間違っていますか？

S3->DynamoDB の例を実行しようとしていますが、MyImportJobアクティビティ用に作成された EMR クラスターの実行に問題があります。

すべてのユーザーが (彼のチームの) 特定の「team_id」タグで EC2 マシンを作成できるように、IAM アカウントを構成しました。これにより、リソースを管理し、間違いを防ぎ、使用状況を監視することができます。

Pipeline が EMR クラスターを起動しようとすると、(おそらく) タグなしで起動するため、. で失敗しTerminated with errors: User account is not authorized to call EC2ます。EMRCluster リソースで構成を見つけようとしましたが、それを設定するのに役立つものが見つかりませんでした。タグポリシーが原因で失敗することは間違いありません。

どうすればこれを克服できますか？
そのための CloudFormation テンプレートを作成すると役に立ちますか? 私はそこでもっとコントロールできますか？(とにかく、アプリケーション テンプレートの一部としてパイプラインを作成します。以前に製品を体験したかっただけです)。

ありがとう！

私の最初の問題は、パイプラインを実行する前に DynamoDB の書き込みスループットを増やし、アップロードが完了したら減らしたいということでした (1 日に最大 1 回行うので、制限を減らしても問題ありません)。

私が見つけた唯一の方法は、API コマンドを発行してスループットを変更するシェル スクリプトを使用することです。AMI の access_key と secret_key がパイプラインによって作成されるリソースである場合、AMI はどのように機能しますか? (ファイルを設定するためにログインできず~/.aws/config、このためだけに AMI を作成したくありません)。

スクリプトは bash で作成する必要がありますか? たとえば、ruby/python AWS SDK パッケージを使用できますか? (私は後者を好みます..) 資格情報をスクリプトに渡すにはどうすればよいですか? @startedDateキーとシークレットを使用してアクティビティに引数として渡すことができるランタイム変数 ( など) はありますか? コマンドライン ツールまたは SDK パッケージで認証する他の方法はありますか?

元の問題を解決する別の方法がある場合は、お知らせください。ShellActivityドキュメント/フォーラムで他に何も見つからなかったため、解決策にたどり着きました。

ありがとう！