問題タブ [amazon-dynamodb]

Amazon dynamoDB に次のようなレコード構造を持つテーブルがあります

ここで、products プロパティはユーザーに属する製品のリストであり、expires nプロパティはリスト内の製品に関連しています。製品のリストは動的であり、多数あります。このデータを次のような形式で S3 に転送する必要があります

ハイブ外部テーブルを使用すると、dynamoDB でユーザー名と製品の列をマップできますが、動的列をマップできません。ハイブがデータを取り込む前に、dynamo から取得したデータを解釈して構造化するために、org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler を拡張または適応させる方法はありますか? または、ダイナモデータを最初の正規形に変換する代替ソリューションはありますか?

私の重要な要件の 1 つは、dynamodb.throughput.read.percent 設定によって提供されるスロットリングを維持して、テーブルの運用上の使用を損なわないようにすることです。

boto 経由で dynamodb をテストしていますが、ハッシュキー、レンジキー条件クエリに基づくデータ セットの取得が驚くほど遅いことがわかりました。SSL (is_secure) が非 SSL よりも約 6 倍速く実行されるという奇妙な点についての議論をいくつか見てきましたが、その発見を確認することができます。しかし、ssl を使用しても、かなり小さなデータ セット (1K レコード未満) でハッシュキー/範囲キー条件を使用して 300 レコードを取得するのに 1 ～ 2 秒かかります。

profilehooks プロファイラーを実行すると、300 レコードを取得するために、ssl.py で 20617 ncalls の順序で多くの余分な時間が費やされていることがわかります。レコードあたり 10 回の呼び出しでも、予想の 6 倍以上になるようです。これはミディアム インスタンスですが、マイクロ インスタンスでも同じ結果が得られます。500 回の読み取り/秒 1000 回の書き込み/秒 スロットルが記録されていないプロビジョニング。

バッチ リクエストの実行を検討しましたが、範囲キー条件を使用できないため、そのオプションが排除されました。

私が時間を失っている場所についてのアイデアは大歓迎です!!

並べ替え: 累積時間、内部時間、呼び出し回数

Netbeans を使用して Java アプリケーションをコーディングしています。データベースは DynamoDB (Amazon Web Services) でホストされています。Amazon Web サイトから .jar ファイル (aws-java-sdk-1.3.6.jar) をダウンロードし、プロジェクトに追加しようとしました。しかし、それは機能していません。通常の手順に従って .jar をプロジェクトに追加しました ([ツール] -> [ライブラリ] -> [新しいライブラリ] -> [JAR/フォルダの追加])。しかし、うまくいかないようです。DB へのアクセスをコーディングするために必要なインポートが認識されません。「パッケージ com.amazonaws が存在しません」というエラーが表示されます。

その方法に従って他のライブラリ（たとえばXerces）を追加しましたが、問題なく使用できました。しかし、私はそれを機能させることができません。

どんな助けや提案も大歓迎です!!

ありがとう！

ローラ

過去にNoSQLデータベースの抽象化レイヤーの作成について質問がありましたが、それらは非常に異なるため、提供される機能のほとんどを見逃さずに実際に実現することはできませんでした。

これは最近、MicrosoftのAzure Table Storageとほぼ同じに見えるAmazonのDynamoDbの導入によって変更されたため、オープンソースの抽象化レイヤーを作成することを検討しています。抽象化は、雇用主にこれらの「新しい」テクノロジーを採用するように説得しようとするときに、より多くの力を与えるので、誰もが抽象化を愛しています。

私の知る限り

この抽象化レイヤーを作成することで、どのような問題が発生し、どのような機能が失われる可能性があるかを誰かが知ることができますか？

どちらも同じようにデータを分割しているように見え、クエリは似ています。

私が最初に気付いたのは、Microsoftのc＃SDKではクラスの派生元が必要でTableServiceEntityあるのに対し、Amazonのc＃オブジェクト永続化フレームワークではプロパティの属性が使用されているHashKeyことRangeKeyです。

Amazon Dynamodb を使用しています。Amazon Dynamodb テーブルからフィールドに保持されている MAX 値を取得する方法を教えてください。解決策があれば教えてください

これらの 1 つを Web で探し回っていますが、node.js/ruby でホストされている実装しか見つかりません。

私は DynamoDB アプリを用意したいと思っています。これは、msi インストーラーに付属する navicat ilk のようなもので、すばやく実行できます。

これらのうちの 1 つがまだ存在しないのには、正当な理由があるのではないでしょうか?

DynamoDB でデータをクエリするために Hive を使用する以下の統合を読んでいました。 http://aws.typepad.com/aws/2012/01/aws-howto-using-amazon-elastic-mapreduce-with-dynamodb.html

ただし、そのリンクによると、Hive は EMR の上にセットアップする必要があります。しかし、EMR を使用する代わりに、既に所有しているスタンドアロンの Hadoop クラスターとこの統合を使用できるかどうかを知りたかったのです。誰かがこれをしましたか？EMR を使用する場合と比較して、DynamoDB と HDFS のデータ間の同期の問題は発生しますか?

私はアプリケーションを構築しましたが、現在、かなり標準的なユーザー テーブルがあります。

int id、varchar メール、varchar パスワード

これを DynamoDB に切り替えるとしたら、このテーブルをどのように作成しますか?

メールアドレスにハッシュキーを使用すると、メールを更新する機能を提供できなくなります。ID を保存するためにハッシュを使用すると、高価なスキャンを使用する必要があります。 1Mb の制限によって制限されます。

アドバイスをお願いします。ありがとう、マーク

NodeJS アプリに Heroku を使用することを検討しています。Heroku の Dyno が AWS ネットワーク内で無料の内部データ転送を利用できるかどうか疑問に思っていました。

DynamoDB、ElastiCache、RDS、SQS、およびその他の AWS 製品を使用したい - Heroku からそれらすべてに接続できる場合、どのリージョンと AZ に設定して、 Heroku ダイノス?

Python Boto 2.3.0でアトミックカウントカウンターを更新しようとしていますが、操作のドキュメントが見つかりません。

直接のインターフェースがないようですので、layer1インターフェースを使って「生の」アップデートに行こうとしましたが、単純なアップデートでも完了できませんでした。

私は次のバリエーションを試しましたが、すべて運がありませんでした

それらはすべて同じエラーを生成します：

ここでAPIドキュメントも調べましたが、かなり質素でした。

私は多くの検索と操作を行いました。残っているのは、PHP APIを使用してコードを調べ、JSON本体を「フォーマット」する場所を見つけることだけですが、それは少し面倒です。その痛みから私を救ってください！