問題タブ [buckets]

Java API を使用して、検索応答で集計のバケットを取得する方法はありますか?

現在、集計を取得することは可能ですが、バケットを取得する方法がわかりません。

ElasticSearch の現在の 1.0 バージョン (v1.0.0.Beta2) はまだベータ版であり、おそらくこの機能を追加する必要がありますが、その点に関する情報も見つかりませんでした。

私はハイブが初めてで、バケット化とMapSide結合について読んでいました

「マップ結合は、バケット化されたテーブル (バケット) を利用できます。これは、左側のテーブルのバケットで作業しているマッパーが、結合を実行するために右側のテーブルの対応するバケットをロードするだけでよいためです。結合の構文は、インメモリ....」

次のようにテーブルを作成するとします

CREATE TABLE bucketed_users (id INT, name STRING) CLUSTERED BY (id) INTO 4 BUCKETS;

私の質問は

1> 4 つのバケットすべてが同じサイズになるかどうか それともデータ内のidの頻度に依存しますか? つまり、ID が何度も繰り返される場合、関連するバケットは他のバケットよりも大きなサイズになります。

2> ID に関連するデータが 2 つの異なるバケットに存在するシナリオはありますか? つまり、ID の 1 つのレコードがバケット 1 に存在し、別のレコードがバケット 4 に存在します。

はいの場合、オプティマイザーはバケット化されたデータをどのように処理しますか?

誰かがこれを試したことがあれば、彼らの経験を共有できれば素晴らしいことです.

単純な PhP/MySQL と比較して、クラウドの利点は何ですか?

コンテンツの典型的なブロックは、約 30,000 のテキスト スニペットで、それぞれの長さは 300 文字以下です。

バケツとオブジェクトに関する優れたドキュメントをいくつか見ていて、そのすべてに飛び込む理由があるかどうか疑問に思っています。

大まかなアイデアをいただければ幸いです。これについてクラウドのことを考えていても、私は間違ったツリーを吠えていますか?

ps 推測: クラウドで MySQL を実行する方法はありますか?

バケットとアプリケーションの間の構造を最適な方法で管理する方法を考えています。

私のウェブサイトには、さまざまなスクリプトのアップローダー画像がほとんどありませalbumsんprofile picture。time line pictures

1)写真の類型ごとに 3 つの異なるバケットを用意した方がよいと思いますか。例:

• バケットマイプロフィール写真

• バケットミアルバム写真

• バケットタイムライン写真

または、すべての写真に対して 1 つのバケットのみを使用する方がよいでしょうか?

2)アプリケーションに合わせてバケットをどのように構成しますか? より良い構造を持つための基準はありますか？

4 つのポイント (1,2,3)、(1,1,1)、(23, 29, 0)、(17, 0, 5) があります。すべてのポイントを新しい場所に移動する必要があります。 (0,0,0)、(0,0,0)、(20,30,0)、(20,0,10) は、辺の長さが 10 (長さ = 10) の立方体の中心点を表します。

ツリー構造で多くのサイトコア コンテンツ アイテムをプログラムで生成しています。例を示すと、構造はコンテンツ ツリーで次のようになります。

これで、Subfolder1 内のすべてのサブアイテムが同じテンプレートを使用し、他のサブフォルダーも同様に使用されます。すべてのサブフォルダーをプログラムでバケット化できるようにしたいと考えています。Sitecore UI を使用してこれを行う方法は知っていますが、そのようなサブフォルダーが何千も存在するため、この場合は実用的ではありません。では、プログラムでそれを行うにはどうすればよいですか?

私はハッシュテーブルを作成するための課題に取り組んでおり、質問の1つが尋ねます

M 個のドキュメントがあり、ドキュメント D _iが N _i個の単語で構成されている場合、この単純なソリューションで K 個の単語で構成されるクエリを検索するには、どれくらいの時間がかかりますか。あなたの答えをビッグオー記法で与えてください。

答えは大きいと思いましたO(M⋅N)。

また、2 番目の部分では、ハッシュ関数を使用して効率を高め、すべての単語をすべてのバケットに均等にマッピングするかどうかを尋ねます。大きな O 表記は何になるでしょうか?

O(B/N)Bがバケットの数である場合、この答えは大きいと思いました。

これらは正しいですか？

16 列 (user_id、date、other_attributes ......) を持つテキスト ファイルがあり、全体ファイルのサイズは 200GB で、行数は 1800 百万以上です。これらのデータを読み取るために、外部テーブル (ex_raw_data) を作成しました。200 以上の派生変数を生成する集計スクリプトがあります。外部テーブル (ex_raw_data) でクエリを実行すると、ファイルが単純なテキスト ファイルであり、行数と計算変数が膨大であるため、計算に時間がかかります。現在、データを ORC 形式で格納する新しいハイブ テーブルを作成することを計画していますが、問題は、テーブルの作成中に適切なバケット数を決定する方法です。以下は、私のクラスター構成 (AWS 上) と ORC テーブル構造です。

ORC テーブルのバケット数を決定するためのベスト プラクティスは何ですか (上記のクラスター構成に従って)?? あなたの助けに感謝！

Google Cloud Bucket で単純な書き込み操作を実行できません。私は詳細までドキュメントに従いました。これは私が持っているものです: デフォルトのバケット、PHP スクリプト、必要なすべての API を有効にします。

これが私のスクリプトです

しかし、これは書きません。私は何が欠けていますか？