問題タブ [amazon-dynamodb]

中間層で何らかの処理を行った後、dynamodb データ構造を JSON と CSV にシリアライズしようとしています。Map(String, AttributeValue) を引数として取り、それを JSON に変換できるジェネリック メソッドを作成したいと思います。

だから、私はAttributeValueのデータ型を理解したいと思います-それを行うには、String、Number、String []、およびNumber []です。それを見つけるためのAPIはありますか？

この質問は、2つの間の一般的な比較に関するものではなく、より具体的には高可用性と信頼性に焦点を当てています。これに関するAmazonのドキュメントから：

SimpleDB

Amazon SimpleDBは、保存する各データアイテムの地理的に分散した複数のコピーを自動的に作成します。これにより、高可用性と耐久性が提供されます。万が一、1つのレプリカに障害が発生した場合でも、AmazonSimpleDBはシステム内の別のレプリカにフェイルオーバーできます。

と

DynamoDB

Amazon DynamoDBは、完全に管理されたNoSQLデータベースサービスであり、シームレスなスケーラビリティを備えた高速で予測可能なパフォーマンスを提供します。このサービスは、Amazonの実績のある高可用性データセンター全体で実行されます。このサービスは、AWSリージョン内の複数の施設にデータを複製して、サーバー障害またはアベイラビリティーゾーンの停止が発生した場合のフォールトトレランスを提供します。

それで、相対的な観点から、一方は他方よりも信頼性が高いのでしょうか？

Rails CMS を使用して管理するモバイル アプリを構築しています。

私たちのアプリはどのように見えますか?

アプリのすべての管理者ユーザーは、非常に少量のデータ (約 50 個の短い文字列) で 1 つのプライベート チャネルを設定できます。

その後、ユーザーはアプリをダウンロードし、いくつかの異なるチャネルを登録して、サーバーからデバイスにデータを取得できます。データはローカルに保存され、管理者ユーザーがデータを更新しない限り、再度フェッチされることはありません (ただし、それほど頻繁には発生しないと想定しています)。各チャネルは、500 台を超えるデバイスで利用できません。

ユーザーはチャンネルに投稿できますが、このデータはデータベースではなく S3 に保存されます。

2 つの重要なポイント:

1. ほとんどのチャネルは 5 か月間アクティブになりますが、500 ユーザーではありません +-. しかし、ほとんどの活動は同じ数日間に行われます。
2. すべてのチャネルは少数のユーザー (500) 向けですが、数百千の管理者ユーザーに到達することを願っています。

Rails を使用して CMS を構築すると、SimpleDB を使用する方が DynamoDB を使用するよりも簡単であることがわかりました。しかし、私たちはサーバーの専門家ではないため、SimpleDB の限界を認識しており、SimpleDB が必要な量のデータ転送を処理できるかどうかはわかりません (アプリが成功した場合)。もう 1 つの重要な点は、DynamoDb のコストがはるかに高く、使用に依存しないことです。一方、SimpleDb は最初ははるかに安価です。

質問は：

1. simpleDB は私たちのニーズを満たすことができますか?
2. サービスが将来的に成長する場合、後で dynamoDB に移行できますか?

私はMySQLに慣れており、KeyValueStoreの使用方法を理解しようとしています。私が見たことがないのは、データベース設計の例や、情報を挿入して取得する方法のような優れた初心者です。

これは、MySQLのデータをKey Valueストアに保存する方法を正しく表していますか？

だから、私が上で正しければ。一般的なユーザー情報の取得は、理解するのに十分簡単です。しかし、Key Valueストアで次のクエリを実行するにはどうすればよいですか？

これを簡単に実行できると私が思った方法は、別のテーブルを作成することです。（5,000人を超えるユーザーがいると仮定します。数百人しかない場合は、これを行う他の方法があると確信しています）

ただし、新しい誰かが参加したり、場所を更新したりするときに、2つのテーブルを調整する必要があります。大したことではないと思います。アプリケーションコードを非常に正確にする必要があります。

これはこれらの問題を解決するための最良の方法ですか？それとも私は何かが足りないのですか？

boto Python APIを使用して（DynamoDBとHiveを使用して）E​​MRワークフローを設定しようとしています。AmazonEMRコンソールを使用してスクリプトを手動で実行できました。ただし、botoを使用すると、テーブルの作成に失敗します。

EMRワークフローを設定するbotoスクリプトは次のとおりです。

ただし、スクリプトは以下の例外で失敗します。

現在、Ruby AWS SDK の ItemCollection#query メソッドはデータセット全体を返します。ページネーションの可能性についてRuby AWS SDKソースコードを調べましたが、ページネーションに最も近いオプションは:limit、ページネーションなしです。クエリ操作に関する Amazon の DynamoDB API (Ruby ではなく HTTP) のドキュメントによると、応答キーを使用したページネーションが存在する可能性があることが示唆されていますLastEvaluatedKey。

前の結果セットを含む、クエリ操作が停止した項目の主キー。この値を使用して、新しいリクエストでこの値を除外して新しい操作を開始します。クエリ結果セット全体が完了すると、LastEvaluatedKey は null になります (つまり、オペレーションが「最後のページ」を処理した場合)。

したがって、:limitオプションを追加してページングを実行し、最後の の後に範囲値の次のクエリを実行Itemできますが、完全なクエリを実行しない限り、合計数がわかりません。

ページネーションを達成するためのより良い/より簡単な方法はありますか?

ハッシュと範囲の複雑なキーを持つテーブルがあります。AWS SDK for Java
を使用してアイテムをクエリできます。オブジェクトが見つからない場合は null を返します。アイテムは として返されGetItemます。 オブジェクトが存在するかどう かを確認するための最速のアプローチを探しています。GetItemMap<String, AttributeValue>

.withAttributesToGet

もう 1 つの最適化は、SDK JSON パーサーを使用せずに自分で応答を解析して、アイテムが返されたかどうかをすばやく確認することです。

ありがとう

おはようございます、

現在、EC2 インスタンスに Django アプリをデプロイすることを検討していますが、すべてが混乱しすぎています。Django には MySQL、PSQL、および SQLite の組み込み実装があることを理解しています。現在、Amazon には RDS (MySQL)、SimpleDB、DynamoDB があります。何を使うべきかについて何かお勧めはありますか？将来に向けてスケーラブルで、防弾仕様のものが欲しいのです。AWS は、SimpleDB と DynamoDB 用の Python API を提供しています。それは Django とうまく動作しますか?!

どうもありがとう！

編集:防弾、効率的、高速で、複雑すぎない全体的なソリューションに焦点を当てたいと思います。より多くの人がシステムに取り組むことを計画しているので、複雑で保守が難しいものは本当に望んでいません。物事の実装とインストールにもっと時間を費やしたいのですが、最終的には、ソリューションはより速く、理解しやすく、操作しやすくなります. (IE.: DB のクエリは簡単で、ハッキングはありません)。

このチュートリアル (http://arfon.org/twitter-streaming-with-eventmachine-and-dynamodb) に従って、Amazon リスニング環境を起動しようとしました。特定のツイートを受信し、dynamo db に (新しいスレッドを介して) 追加します。すべて正常に動作しますが、eventmachine を使用してスレッドを生成すると、次のようになります。

main:Object の未定義のローカル変数またはメソッド「テーブル」

call'", "/.rvm/gems/ruby-1.9.3-p125/gems/eventmachine-0.12.10/lib/eventmachine.rb:1060:in spawn_threadpool のブロック'"]

Amazon dynamo db - http://aws.amazon.com/dynamodb/に切り替える予定ですが、モデリング ソフトウェアに問題があります。もしあれば、すべての「テーブル」などを視覚的に表現するために利用できるものは何ですか...

または少なくとも何を使用していますか？

現時点では、Microsoft Excel が最もアイデアに近いと思いますが、視覚的には不十分です。

どんなアイデアでも大歓迎です。

直接コーディングに関連していないため、質問がここに属しているかどうかはわかりませんが、データセットを視覚的に表現してコーディングする方がはるかに簡単です。ここで質問するのが間違っていたら、どうかお許しください。

いいえ、それは些細なプロジェクトではないので、いくつかの異なるセットだけではありません。

thnxたくさん

edit **が言及されているはずですが、ビジュアルスタジオで動作する場合は、より良いです。