Hadoopmapreduceを使用してAmazonDynamoDBに保持されているデータを処理する必要があります。
インターネットでDynamoDBのHadoopInputFormatを検索していましたが、見つかりませんでした。Dynamo DBに慣れていないので、DynamoDBとHadoopに関連するトリックがあると思いますか？この入力フォーマットの実装がどこかにある場合は、それを共有していただけますか？
質問する
1639 次
2 に答える
3
多くの検索を行った後、Amazonのライブラリの1つにDynamoDBInputFormatとDynamoDBOutputFormatが見つかりました。
Amazon Elastic Map Reduceには、dynamoDBの入力および出力形式を含むhive-bigbird-handlerと呼ばれるライブラリがあります。完全なクラス名は、org.apache.hadoop.hive.dynamodb.write.DynamoDBOutputFormatおよびorg.apache.hadoop.hive.dynamodb.read.DynamoDBInputFormatです。
これらのクラスがコミュニティに役立つことを願っています。
于 2012-10-29T18:36:22.893 に答える
1
MapReduce で直接使用できる InputFormat が見つかりませんでした。ただし、記事AWS HowTo: Using Amazon Elastic MapReduce with DynamoDB (Guest Post)で、Hive を使用して MarReduce ジョブを実行します。
于 2012-10-23T05:02:10.500 に答える