問題タブ [bigtable]

GAE で効率的にクエリを実行するためにデータ モデルをモデル化するのは初めてですが、RDBMS については幅広い知識があります。

問題は次のとおりです。約 100 万個の用語 (文字列) があり、関連する数値を時系列として照会し、週ごとのデータ ポイントと比較する必要があります。これは、X 軸が時間で、Y 軸が数値測定値を示すグラフと考えてください。

これまでのところ、データストアで用語と日ごとに個別のデータポイントを取得しました 。データストアを効率的にクエリできるように、データを週ごとに集計してデータを保存する方法を探しています。タームごとに異なる長さ (4 週間、5 週間、6 週間など) の多数の時系列を事前に計算し、各エントリを次のように保存することを考えていました。{term, start_week, [time series]}

RDBMS を使用すると、ストアド プロシージャとして、またはアプリケーション バックエンドで、週ごとに簡単にグループ化し、データ シリーズをプログラムで作成できます。GAE の制約と、高度に分散されたシステムとしての BigTable の性質により、これはオプションではありません。

どんなアイデアでも大歓迎です！

Bigtable / Cassandra DB アーキテクチャを使用するブリッジ / ネイティブな方法はありますか?

We have

• BigTable from Google,
• Hadoop, actively contributed by Yahoo,
• Dynamo from Amazon

all aiming towards one common goal - making data management as scalable as possible.

By scalability what I understand is that the cost of the usage should not go up drastically when the size of data increases.

RDBMS's are slow when the amount of data is large as the number of indirections invariable increases leading to more IO's.

How do these custom scalable friendly data management systems solve the problem?

This is a figure from this document explaining Google BigTable:

Looks the same to me. How is the ultra-scalability achieved?

これはGoogle BigTable の論文からのショットです

Oracle のREDO ログのようなものを保持する代わりに、データベース内に同じデータの複数のバージョンを格納する必要があるシナリオにはどのようなものがありますか?

特にこの例について言えば、データベースに html ページの複数のバージョンを保存する必要があるのはなぜですか? とにかくすべてのバージョンがそこにあるわけではなく、それらの一部だけが存在するため（最後の5つなど）、バックアップとして機能することはできません。

アプリギャラリーでページネーションをご覧ください。ページ番号と、ページ番号とともに増加する「開始」パラメーターがあります。おそらくこのアプリはGAEで作られました。もしそうなら、彼らはどのようにこのタイプのページ付けをしましたか？ATM私はカーソルを使用していますが、URLでカーソルを渡すのは地獄のように醜いです。

javaを使用してbigtableで全文検索を作成/最適化することに関する洞察はありますか? ベストプラクティスなど？どうやってやるの？

DjangoとAppengineがどのように連携するかを理解しようとしていますか？

1. まず、質問：これは良いチームですか？何が可能で何が不可能かという経験は素晴らしいでしょう。

2. また、auth、adminなどのいくつかのモジュールも読みました。しかし、記事はかなり古いので、おそらく更新があります。

3. そして、そのチュートリアルでは、bformsをインポートする必要があります。

それは何ですか？Djangoモジュール？Appengine？Python？Bigtable？

4. Bigtableは通常のSQL、MySQLとどう違うのですか？

ありがとう

あるGAEアプリケーションに保存されているデータを他のGAEアプリケーションで操作するのが好きです。基本的に、Google App Engine（Python）の開発と本番環境で複数のウェブアプリケーション間でデータストアを共有します。

また、可能であれば： http：// localhost：#### / _ ah / admin / datastore 実行されていない、および/または1つの画面で実行されていない他のアプリケーションでデータを表示したいですか？

助けてくれてありがとう！

私は google-app-engine と google datastore (bigtable) の初心者であり、必要なデータ モデルを設計するための最良のアプローチがどれであるかについて疑問があります。

製品カタログのような階層モデルを作成する必要があります。各ドメインには深いサブドメインがあります。現時点では、製品の構造は読み取り要件よりも変更が少ないです。ワインの例:

• 起源（トスカーナ、プリオラート、アルザス）
• ワイナリー (1 つのオリジンのみに属します)
• ワイン（1つのワイナリーのみに属します）

すべての関係はバラバラで不完全です。さらに、要件の順序で、おそらくすべてのワインに使用するカウンターを保存する必要があります (トランザクションが必要になる場合があります)。

ドキュメントの順に、さまざまな潜在的な解決策があるようです。

• 先祖管理。親関係とトランザクションの使用
• 疑似祖先管理。db.ListProperty(db.Key) を使用した祖先のシミュレート
• 参照プロパティ。クラス間の関係を明示的に指定する

しかし、ワインを取得するために予想される要求の順序で... 時には品種ごと、時には原産地ごと、時にはワイナリーごとに...これらの構造を使用したクエリの動作が心配です(リレーショナルモデルの複数の結合のように.ファミリの製品を要求する場合...製品ツリーの最終ディープ クオリファイアに参加し、ファミリ以降に参加する必要があります)

重複した情報を作成する方が良いかもしれません (Google チームの推奨事項の順序: 操作にはコストがかかりますが、ストレージはそうではないため、重複したコンテンツは主な問題とは見なされません)。

他の同様の質問に対するいくつかの回答は、次のことを示唆しています。

• すべての親 ID を文字列の階層として保存します...パス プロパティのように
• Drink エンティティとツリー内のすべての親の間の関係を複製します ...

助言がありますか？

こんにちは。

私たちのケースは、2 番目の例で示したように、より厳密な階層的アプローチです。また、クエリは製品のリストを取得するためのものであり、1 つだけを取得することは通常ありません。

原産地、ワイナリー、または品種からすべてのワインを取得する必要があります (品種が厳密な階層ツリーの別のノードであると仮定した場合、これは単なる例です)

あなたが言及したように、1つの方法はパスプロパティを含めることができます：

• /origin/{id}/winery/{id}/variety/{id}

次のようなクエリを適用して、さまざまなワインからワインのリストを取得できるようにするには:

または、オリジンから次のようにします。

ありがとうございました！

App Engineでデータモデルを変更して新しいプロパティを追加すると、特定のプロパティのないエントリが<missing>オンラインデータビューアの値とともに一覧表示されます。

私が疑問に思っているのは、これらのエントリを見つけるためのクエリをどのように書くことができるかということです。