問題タブ [bigtable]

Google App Engine を使用して Web アプリケーションを作成しています。アプリにはエンティティがあり、そのレコードはユーザーがアップロード機能を介して挿入されます。ユーザーは、最大 5K 行 (オブジェクト) のデータを選択できます。JDO 実装として DataNucleus プロジェクトを使用しています。これは、Data Store にデータを挿入するために取っているアプローチです。

1. データは CSV から読み取られ、エンティティ オブジェクトに変換され、リストに格納されます。
2. リストは、グループごとに約 300 のオブジェクトの小さなグループに分割されます。
3. 各グループはシリアル化され、一意の ID をキーとして memcache を使用してキャッシュに保存されます。
4. グループごとにタスクが作成され、キーとともにキューに挿入されます。各タスクは、このキーを入力パラメーターとして受け取るサーブレットを呼び出し、メモリからデータを読み取り、これをデータ ストアに挿入して、メモリからデータを削除します。

キューの最大レートは 2/min で、バケット サイズは 1 です。私が直面している問題は、タスクが 300 レコードすべてをデータ ストアに挿入できないことです。300 個のうち、挿入される最大値は約 50 個です。データが memcache から読み取られた後、データを検証し、保存されているすべてのデータをメモリから取得することができました。PersistenceManager の makepersistent メソッドを使用してデータを ds に保存しています。誰かが私に何が問題なのか教えてもらえますか?

また、レコードの一括挿入/更新を処理するより良い方法があるかどうかを知りたいです。BulkInsert ツールを使用しました。しかし、このような場合、それは要件を満たしていません。

ウィキペディアから:

[NoSQL データベースの] 注目すべき製品実装には、Google の BigTable、Amazon の Dynamo、および Cassandra が含まれます。

しかし、Google の BigTableには、 GQLと呼ばれる SQL のバリアントがあります。

私は何が欠けていますか？

Spring Framework などのオープン ソース フレームワークを使用して Java Web アプリケーションを作成し、簡単に拡張できるようにしたいとします (Google App エンジンなど)。

(GAE で実行する以外に) どのようなオプションがありますか?

1. どの mvc-framework、db-persistence フレームワークを選択しますか?

2. データベースがボトルネックになっている場合、BigTable が Java Webapp の世界でどのように動作するかを模倣する方法はありますか?

xtable の大きなテーブルを各ページにテーブル ヘッダーを配置するにはどうすればよいでしょうか? ページ間のテーブルを読みやすくします。

私は Sweave で以下を使用します。

回答ありがとうございます

xtableのテーブルに色の間隔を入れる方法は?

次の手順でテーブルを生成します。

答えてくれてありがとう

これはばかげた質問のように思えますが、Big Table でキーを値のリストに関連付ける適切な方法は何ですか? 各項目の列の場合、列名は何ですか? item-1、item-2 など、item はリストを識別する接頭辞です。その場合、リストの長さを毎回何らかの方法でクエリする必要があります-おそらく item-size 列を介して。

または、リストを JSON 配列として保存することもできますが、それは悪いようです。そこの専門家がどう思うか疑問に思いますか？

リレーショナルデータベースのバックグラウンドから来て、私はドキュメント指向データベースに非常に迅速に移行することができます。最も価値のある「関係」の多くは、ドキュメントの階層によって維持されます。NoSQLのDODBバリアントの多くは、非常に豊富なクエリ言語も提供します。私が理解していると思うNoSQLのこのサブセット。

Azure Table Storage、S3、およびBigTableによって実装されたデータベーススタイルを中心に設計するための優れたリファレンスを探しています。私が見るサンプルはすべて、些細な実装のようです。

この空間でのデザインの重要な扱いを知っていますか？

カテゴリA->サブカテゴリA->本の関係のようなpojoがある場合。subcategoryAは親categoryAの子です。この場合、本はsubcategoryAの子であり、すべてが同じエンティティグループ内にあります

「本」を別のサブカテゴリに移動する必要がある場合-B。subcategoryAとcategoryAを削除し、本なしでcategoryA-> subcategoryA->を再作成する必要がありますか？そしてcategoryb->subcategoryb->book、other-book、other-book3を再作成しますか？

例から

例からhttp://sites.google.com/site/slim3appengine/ これは1つのエンティティ（同じエンティティ）にすぎないため、送金を行うのに2つの異なるトランザクションが必要な理由がわかりません

私のアプリケーションには、ProfileAccount、ProfileLink などのいくつかの子を持つ Profile エンティティがあります。これらは通常、次のようにトランザクションで更新されます。

db.run_in_transaction(update_profile, key) で呼び出しますが、プロファイルが更新されたときに発生するすべての管理ログが必要なので、プロファイルへの参照、タイムスタンプ、および任意の文字列データ。これは、ユーザーが最後にログインしてから何が起こったかを確認するために後で処理されます。

問題は、AdminLog がプロファイルと同じエンティティ グループに属していないためです。同じトランザクションに追加することはできませんが、一方で、これらすべてのログを同じエンティティ グループに配置するのは賢明ではないと思います。必須データではないため、エンティティ (プロファイル)。

私が考えたことの 1 つは、プロファイルの StringList で、ログインごとにクリアされるので、この方法でプロファイルに発生したすべてのものを取得できます。それは良いアプローチだと思いますか、それともこの種の状況に対する他の回避策があると思いますか?

ヒントを事前にありがとう