問題タブ [hbase]

さまざまなレベルの集計の分析を必要とするアプリケーションがあり、それが OLAP ワークロードです。データベースもかなり頻繁に更新したいと思います。

たとえば、私の更新は次のようになります (スキーマは次のようになります: 時間、宛先、ソース IP、ブラウザ -> 訪問)

それから、先月、Firefox ブラウザから www.stackoverflow.com にアクセスした合計はいくらですか。

Vertica システムが比較的安価な方法でこれを実行できることは理解しています (パフォーマンスとスケーラビリティに関しては可能ですが、おそらくコストに関してはそうではありません)。ここで 2 つの質問があります。

1) この問題を解決するために構築できるオープンソース製品はありますか? 特に、モンドリアンシステムはどの程度うまく機能しますか? (スケーラビリティとパフォーマンス) 2) このための HBase または Hypertable ベース ソリューションはありますか (明らかに、裸の HBase/Hypertable ではこれができません)。-- しかし、HBase/Hypertable に基づくプロジェクトがあれば、おそらくスケーラビリティは問題にならないでしょう (IMO)?

ありがとう！

HBaseクラスターのインストールで遊んでいて、StargateRESTインターフェイスを介してデータにアクセスしようとしています。ほとんどの読み取り専用関数（つまり、テーブルの一覧表示、バージョンの取得、メタデータなど）はうまく機能します。ただし、作成したテーブルに実際にデータを挿入するのに問題があります。これが私がこれまでに得たものです。

次のように、2つの列を持つダミーテーブルを作成しました。

テーブルの作成は正常に機能します。次に、新しいテーブルにデータを挿入します。これが私がそれをしようとする方法です：

このリクエストの結果は、次の例外を除いて503エラーを返します。

エラーはかなり明確ですが、上記のスキーマの何が問題になっているのかわかりません。

また、Starbaseを使用する代わりに、Thriftパッケージを使用して必要なPHPクライアントファイルを生成する方がよいのではないかと思います。誰かがこれについて何か経験があれば、私はあなたから聞いてみたいです。

どんな助けでも大歓迎です。

Hadoop MapReduceで次のアーキテクチャが可能ですか？

分散Key-Valueストアが使用されます（HBase）。したがって、値とともに、値に関連付けられたタイムスタンプがあります。Map＆Reduceタスクは繰り返し実行されます。マップは、各反復で、前の反復でストアに追加された値（おそらく最新のタイムスタンプを持つ値）を取り込む必要があります。Reduceは、Mapの出力と、reduceが現在の反復で処理する必要のあるキーと一致するキーを持つストアからのペアを取り込む必要があります。reduceの出力はストアに送られます。

これが可能な場合は、通常の操作の代わりに上記の操作が行われるように、どのクラス（たとえば、InputFormat、Reduceのrun（））を拡張する必要があります。これが不可能な場合、同じことを達成するための代替手段はありますか？

C#/VB.NET で Hbase データベースを使用するにはどうすればよいですか? (use=接続、クエリ、結果取得、挿入、更新、削除)

Googleで役立つ答えが見つかりません。

こんにちは、私は SQL に慣れていますが、HBase テーブルからデータを読み取る必要があります。これに関するヘルプは素晴らしいでしょう。本か、テーブルから読み取るためのサンプルコードかもしれません。誰かがスキャナーを使えばうまくいくと言いましたが、私はその使い方がわかりません。

行レベルの条件に基づいて大規模なデータセットから多数のランダム サンプルを選択する map/reduce ジョブを作成したいと考えています。中間キーの数を最小限に抑えたい。

擬似コード:

このようなことをしたことがありますか？よく知られているアルゴリズムはありますか？

連続した行を含むサンプルでも十分です。

ありがとう。

私の辞書には 100 万語の単語があります。ユーザーが私の Web サイトでクエリを発行するたびに、クエリに辞書の単語が含まれているかどうかを確認し、それらに対応するカウンターを個別にインクリメントします。たとえば、ユーザーが「オバマは大統領です」と入力し、「オバマ」と「大統領」が私の辞書にある場合、「オバマ」と「大統領」のカウンターを 1 増やす必要があります。

そして時々、上位 100 語 (最も検索された語) を見たいと思っています。Hbase を使用してカウンターを格納する場合、どのスキーマを使用すればよいですか? -- 効率的なものはまだ思いつきません。

辞書の単語を行キーとして使用し、「counter」を列キーとして使用すると、counter(increment) の更新が非常に効率的になります。しかし、トップ 100 を並べ替えて返すのは非常に困難です。

誰でも良いアドバイスを与えることができますか？ありがとう。

「ユーザー」がいるとします。それが鍵です。そして、「ユーザー数」を維持する必要があります。キー「user」と値「0」から「9999+ ;-)」のレコードを作成する予定です（できるだけ多く）。

そのために Cassandra、HBase、または MySQL を使用すると、どのような問題が発生するでしょうか? たとえば、この「ユーザー」キーに何千もの新しい更新があり、値をインクリメントする必要があるとします。私は困っていますか？書き込みのためにロックされていますか? それを行う他の方法はありますか？

これが行われる理由 -- 多くの「ユーザー」のようなキーが存在します。別の他のケース。しかし、考え方は同じです。このままにしておくのはなぜですか。より多くの読み取りを行うため、常に「カウントされた値」を非常に高速に取得できるからです。