問題タブ [bigtable]

どうやら BigTable アーキテクチャの理由は、Google が対処しなければならない膨大な数のサーバーを扱う場合に、リレーショナル データベースをスケーリングするのが難しいことに関係しています。

しかし、技術的に言えば、リレーショナル データベースの拡張が困難な理由は何でしょうか?

大企業のエンタープライズ データ センターでは、これをうまく実行できるように見えるので、Google のサーバーでスケーリングするために、これをより大きな規模で単純に実行できないのはなぜだろうかと思っています。

ビッグテーブルとは。データが保存される bigtable.where にテーブルを作成するために認証が必要ですか。表を見ることができます。他の人が作成した bigtable のすべてのテーブルを表示できます。

BigTable / GFSとCassandraの用語では、SSTableの定義は何ですか？

Google の Bigtable コンテキストでは、コミット ログとはどういう意味ですか? コミットログの用途は何ですか？

私は、より少ないディスクスペースを消費する大量の情報を保存するためのソリューションを探しています。

情報構造は非常に単純であり、クエリも非常に単純になります。Apache Cassandraやリレーションデータベースのようなソリューションを見てきましたが、ディスク使用量が言及されている比較は見つかりませんでした。

これに関するアイデアは素晴らしいでしょう。

MySQLデータベースがあり、次のBLOB（JSONオブジェクトを含む）とID（このJSONオブジェクト用）を格納しています。JSONオブジェクトには、さまざまな情報が含まれています。「city：LosAngeles」と「state：California」と言います。

現在、そのようなレコードは約50万件ありますが、増え続けています。そして、各JSONオブジェクトは非常に大きいです。

私の目標は、MySQLデータベースで（リアルタイムで）検索を行うことです。たとえば、「state」から「California」、「city」から「SanFrancisco」のすべてのJSONオブジェクトを検索したいとします。

このタスクにHadoopを利用したいと思います。私の考えは、MySQLからたとえば100レコード（行）のチャンクを取得し、指定された検索条件に従ってそれらを検証し、適格なもの（ID）を返す「ジョブ」があるということです。

長所短所？そのために単純なSQLパワーを利用する必要があると思うかもしれませんが、JSONオブジェクトの構造はかなり「重い」ので、SQLスキーマとして配置すると、少なくとも3〜5個のテーブル結合があります。 （私は実際に試しました）かなりの頭痛の種を生み出し、すべての適切なインデックスを構築すると、私が考えるよりも速くRAMを消費します。;-)それでも、インデックスを利用するには、すべてのSQLクエリを分析する必要があります。そうしないと、全表スキャンでは文字通り面倒です。そして、そのような構造では、「アップ」する唯一の方法は、垂直方向のスケーリングだけです。しかし、JSONオブジェクト（データ構造）がどのように成長するか（データ構造）がわかり、オブジェクトの数も増えるので、それが私にとって最良のオプションかどうかはわかりません。:-)

ヘルプ？誰かがこれを行う方法の簡単な例を教えてもらえますか？それはまったく意味がありますか？重要なものが欠けていますか？

ありがとうございました。

メールメッセージに含まれる単語を格納する非常に大きなテーブルがあります

テーブルには約 1 億行が含まれます mwr_message_id は
メッセージ テーブルへの FK です

最も使用されている単語を計算するには、次のクエリを使用します

ほぼ永久に実行されます (テスト サーバーで 30 分以上)

クエリを「高速化」するためにできることはありますか (RAM の追加、CPU の追加、ディスクの高速化は別として)。

事前にありがとう
ステファノ

PS EXPLAIN 結果:

.csv ファイルをアップロードして、レコードを bigtable に保存する必要があります。私のアプリケーションは、csv ファイル内の 200 レコードを正常に解析し、テーブルに保存します。

これがデータを保存するための私のコードです。

しかし、レコードが増えないとタイムアウトエラーが発生します。

csv ファイルには、最大 800 レコードを含めることができます。App-Engineでそれを行うことは可能ですか?

(バッチ更新のようなもの)

ブロブとして保存した画像を、RPC を使用して GWT でレンダリングされたページに表示したいと考えています。サーブレットを使用したくないのは、画像の読み込みが同期的であり、画像が多いとページの読み込み時間が遅くなる可能性があるためです。何か案は？