問題タブ [amazon-data-pipeline]

構築中のアプリケーションに AWS DynamoDB を使用することを検討しています。DynamoDB から S3 にデータをエクスポートするバックアップ ジョブを設定するには、EMR を使用したデータ パイプラインが必要であることを理解しています。しかし、私の質問は、初日にバックアップ ジョブを設定することについて心配する必要があるかということです。データ損失が発生する可能性はどのくらいですか?

単純なチェーン s3-pipeline-redshift を実行しようとしていますが、入力データ形式に完全に行き詰まっています。これが私のファイルです：

1,Toyota Park,Bridgeview,IL
2,Columbus Crew Stadium,Columbus,OH
3,RFK Stadium,Washington,DC
4,CommunityAmerica Ballpark,Kansas City,KS
5,Gillette Stadium,Foxborough,MA
6,New York Giants Stadium,East Rutherford,NJ
7,BMO Field,Toronto,ON
8,The Home Depot Center,Carson,CA
9,Dick's Sporting Goods Park,Commerce City,CO
10,Pizza Hut Park,Frisco,TX

ここに私が使用しているテーブルがあります：

私が使用する場合 | 区切り文字として、コンマを使用するとエラー 1214 - Delimiter not found が発生します - 同じこと、ファイルを utf-8 に変換すると、「Invalid digit, Value '.', Pos 0, Type:短い'.私はアイデアを使い果たしました.それは一体何が悪いのですか?誰かが入力ファイルの例を教えてください.または私が間違っていることを教えてもらえますか?事前に感謝.バケット awssampledb で利用できますが、それらを取得する方法がわかりません。

HIVE と PIG を使用して、毎週実行するようにスケジュールするクエリを作成して保存しました。スクリプトは S3 ファイルを作成し、DynamoTable を更新します。スケジュールに基づいてこれらのスクリプトを自動実行する AmazonEMR クラスターを作成するには、何を使用できますか?

AWS Data Pipeline を考えていましたが、データノードの作成が必要なようで、私の目的には必要ないと思います。

マネージャーから AWS で IAM ロールを割り当てられており、Amazon Data Pipeline をセットアップしようとしています。PipeLine をアクティブ化しようとすると、次のような許可の問題と承認の問題に繰り返し直面しています。

警告: ロール 'DataPipelineDefaultRole' の検証中にエラーが発生しました。エラー: ステータス コード: 403、AWS サービス: AmazonIdentityManagement、AWS リクエスト ID: fbf1935a-bcf1-11e3-82d4-cd47aac2f228、AWS​​ エラー コード: AccessDenied、AWS エラー メッセージ: ユーザー: arn:aws:sts::723751385540:assumed-role /DataPipelineDefaultRole/EDPSession は実行する権限がありません: iam:ListRolePolicies on resource: role DataPipelineDefaultRole

エラーはありません...上記のような警告のみです。

私の CTO は、AWS アクセス マネージャーのスーパー管理者ロールを私に割り当てました。しかし、私はそれを行うことができません。このことを回避するのに少なくとも2週間かかりました。彼は私の IAM にすべてのスーパー管理者のアクセス許可と権限を付与しました。

ps私は、http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql-console.htmlの「AWS Data Pipelineコンソールを使用してCopyActivity経由でRDSデータをS3にエクスポートする」チュートリアルのドキュメントに従いました

AWS Data Pipeline でサポートされているデータ ソースに関するドキュメントを探しています。私がする必要があるのは、SQL Server RDS データを S3 にエクスポートすることです。Data Pipeline が RDS をソースとして使用できるという多くのドキュメントを見つけましたが、私が目にするすべての例は MySQL RDS のみのものです。

Data Pipeline と SQL Server RDS の経験がある人はいますか? その場合、SQL Server RDS に接続するためにどのデータ ノードを使用していますか (MySqlDataNode、SqlDataNode など)?

最終的な目標は、SQL Server RDS から AWS Red Shift にデータを移動することです。

ありがとう

ShellCommandActivity タイプの単一のアクティビティを使用して単純な dataFlow パイプラインを作成しようとしています。アクティビティと ec2 リソースの構成を添付しました。

これを実行すると、Ec2Resource は WAITING_ON_DEPENDENCIES 状態になり、しばらくして TIMEDOUT に変更されます。ShellCommandActivity は常に CANCELED 状態です。インスタンスの起動と終了状態への非常に迅速な変更が表示されます。

s3 ログ ファイルの URL を指定しましたが、更新されません。

誰でも私に何か指針を与えることができますか？また、これをデバッグするためのガイダンスはありますか?

ありがとう！！

次のコンストラクトを使用して、スクリプト変数を AWS データ パイプラインの hiveactivity に渡すことができます。

ハイブ スクリプトでこれらの変数にアクセスするにはどうすればよいでしょうか。私はそれらを選択ステートメントで使用しようとしましたが、成功しませんでした:

ハイブに関する私の知識は限られています。これに関するヘルプは大歓迎です。ありがとう。