問題タブ [amazon-simpledb]

LogParser を使用して IIS ログを SQL Server データベースにダンプするスクリプトをいくつか実行しました。

次に、これをクエリして、ヒット数や使用状況などに関する簡単な統計を取得できます。エラー ログ データベースやパフォーマンス カウンター データベースにリンクして、使用状況とエラーなどを比較する場合にも役立ちます。

これを 1 つのシステムに実装しただけで、過去 2 ～ 3 週間で、約 1,000 万件のレコードを含む 5 GB のデータベースが既にありました。

これにより、このデータベースへのクエリが非常に遅くなり、このままログを記録し続けると、ストレージの問題が発生することは間違いありません。

このようなログに対してより効率的な、このデータに使用できる代替データベースを提案できる人はいますか? Google の BigTable や Amazon の SimbleDB の経験に特に興味があります。

これらのいずれかがクエリのレポートに適していますか? COUNT、GROUP BY、PIVOT?

simpledbでこのようなことが可能かどうかはわかりません。次のタイプのsimpledbデータ構造を使用しようとしています。

1. 各アイテムには複数の名前/値のペアがあります（ここでの名前は属性名です）。

   item1serial_num-
   >値
   item2serial_num-
   >値

2. そのような数のアイテムがドメイン内にあり、そのようなドメインが複数あります。

次のようなクエリを実行したい：

複数のアイテムおよびドメインにわたる1つのシリアル番号に関連するすべてのアイテムを取得します。これは可能ですか？

2番目の質問は、フィールドの組み合わせをアイテム名として使用することに関するものです。
例えば
、上記の構造では、

次に、特定の日時範囲と特定のFooまたはFoo1の間でアイテムをクエリしますか？何かのようなもの

次の方法でSimpleDBを使用しようとしています。

いつでも 48 時間分のデータを simpledb に保持し、さまざまな目的でクエリを実行したいと考えています。各ドメインには 1 時間分のデータがあるため、simpledb には常に 48 のドメインが存在します。新しいデータは常にアップロードされるため、最も古いドメインを削除し、新しい時間ごとに新しいドメインを作成します。

各ドメインのサイズは約 50 MB で、すべてのドメインの合計サイズは約 2.2 GB です。ドメイン内のアイテムには、次のタイプの属性
識別子があります - 長さ約 50 文字 -- アイテムごとに 1つの
タイムスタンプ - タイムスタンプ値 -- アイテムごとに 1
serial_n_data - 500 ～ 1000 バイトのデータ -- アイテムごとに 200

データのアップロードとクエリに python boto ライブラリを使用しています。ドメインで約 200 の属性を持つ 1 アイテム/秒を送信します。

このデータのアプリケーションの 1 つとして、48 のドメインすべてからすべてのデータを取得する必要があります。クエリは、すべてのドメインに対して「SELECT * FROM domain」のようになります。8 つのスレッドを使用してデータのクエリを実行し、各スレッドがいくつかのドメインを担当します。
例: ドメイン 1-6 スレッド 1
ドメイン 7-12 スレッド 2 など

データ全体を取得するのに 13 分近くかかります。これには boto の select メソッドを使用しています。これよりもはるかに高速なパフォーマンスが必要です。クエリ処理を高速化するための提案はありますか? 物事をスピードアップできる、使用できる他の言語はありますか?

SimpleDB、Azure Tables、Cassandra、CouchDB、MongoDb などのさまざまな nosql データベース間での移植性を提供する共通のデータ アクセス フレームワークを探しています。アプリを構築しており、顧客がいずれかを使用できるようにしたいと考えています。彼らが望むnosqlストア。

よりリレーショナルなシナリオでは、nHibernate または Entity Framework よりも Linq を使用しますが、nosql データベース用の同等のフレームワークは見つかりませんでした。かなりの共通点があるように見えますが、私が見つけたのはデータベース固有の API だけです。存在しますか？できればLINQを使用したもの。

また、他の非リレーショナル データベースを実装しているサイトがあるかどうか、およびその目的についても知りたい..

Amazon SimpleDBを使用するようにGrailsプロジェクトをセットアップする方法は？

1つの可能性は、gorm-jpaプラグインをインストールしてSimpleJPAライブラリーを使用することですが、正しくセットアップできませんでした。

誰かがこの組み合わせを経験したことがありますか？

どのシナリオがより理にかなっていますか？MongoDBがインストールされた複数のEC2インスタンスをホストするか、Amazon SimpleDB Webサービスを使用しますか？

MongoDBで複数のEC2インスタンスがある場合、インスタンスを自分でセットアップするという問題があります。

SimpleDBを使用すると、Amazonのデータ構造にロックされるという問題がありますか？

開発に関してどのような違いがありますか？サービスレイヤーのDAOを切り替えて、MongoDBまたはAWS SimpleDBに書き込むことはできませんか？

Amazon SimpleDB に保存したデータを中継するサーバーにクエリを実行する iPhone アプリを開発しています。さまざまなユーザーによる「提出」のデータベーステーブルがあります。私は Facebook とインターフェースして Facebook の友達を取得しており、「Submissions」にクエリを作成して、友​​達の投稿を見つけたいと考えています。

（友達の完全なリストを介して）

これは、この種の選択ステートメントでAmazonクエリの制限に達すると思います-

[Select 式あたりの最大比較数: 20]

SimpleDB でこれをエレガントに実現する方法を考えられますか? 20 人のクエリを大量に実行する必要はありません。または、別のデータベース パッケージに移動してクロステーブル クエリを実行する必要がありますか?

ありがとう！

Amazon simpledb のドキュメントをチェックしています。彼らはサーバー側の言語についてのみ言及しています。

サーバーを介さずにクライアント側から直接データベースにデータを挿入する方法はありますか?

そうでない場合、どうしてですか？

シンプルなデータベースを使用しています。私の単純なデータベースには「device.OS」属性があります。「device.OS」にも同じ属性値が必要です。この問題を助けてください。

注: 通常の属性値を試すことができます。値を取得することができます。ただし、「。」の場合。値を取得できない属性名があります。「構文エラー」と表示されます

ありがとう、センティル