問題タブ [hbase]

サンプルを実行しました:SampleUploader、PerformanceEvaluation、および行カウント

Hadoop ウィキ: http://wiki.apache.org/hadoop/Hbase/MapReduce

私が直面している問題は次のとおりです。 table1 は、列ファミリーの列を持つ私のテーブルです

同様に、両方の列を別のバージョンと同じ行に表示したいのですが、名前の列をサラに変更すると、更新された行が表示されます....しかし、古い行と変更された行の両方を2として表示したいデータを分析できるように、さまざまなバージョン........

私が犯している間違いは何ですか？

どうもありがとうサミー

コンピューティング グリッド内の多数のサーバーからログを集約するために、Splunk に似たものを構築するために使用できる最適なコンポーネントを見つけようとしています。また、毎日大量のログがあり、単一のマシンにログを保存できないため、分散する必要があります。

私は特に、Ruby で動作し、Windows と最新の Solaris で動作するものに興味があります (ええ、私は動物園を持っています)。

私はアーキテクチャを次のように考えています。

• ログクローラー (Ruby スクリプト)。
• 分散ログ ストレージ。
• 分散検索エンジン。
• 軽量フロントエンド。

ログ クローラーと分散検索エンジンは問題外です。ログは Ruby スクリプトによって解析され、ElasticSearch はログ メッセージのインデックス作成に使用されます。フロントエンドもとても選びやすい - Sinatra。

私の主な問題は分散ログ ストレージです。MongoDB、CouchDB、HDFS、Cassandra、HBase について調べました。

• MongoDB は、Solaris で動作しないため拒否されました。
• CouchDB はシャーディングをサポートしていません (それを機能させるにはスマートプロキシが必要ですが、これは試したくありません)。
• Cassandra はうまく機能しますが、ディスク容量を大量に消費するだけであり、Cassandra ノード間で負荷を分散するために毎日オートバランスを実行する必要があります。
• HDFS は有望に見えましたが、FileSystem API は Java のみで、JRuby は苦労しました。
• HBase は最善のソリューションのように見えましたが、デプロイと監視は単なる災害です。HBase を開始するには、最初に HDFS を開始し、問題なく開始されたことを確認し、次に HBase を開始してそれも確認し、REST サービスを開始して、も確認してください。

だから私は立ち往生しています。HDFS または HBase がログ ストレージとして使用するのに最適であると言う人もいますが、HDFS は Java でのみスムーズに動作し、HBase は展開/監視の悪夢に過ぎません。

上記のコンポーネントを使用して、またはまったく異なるものを使用して同様のシステムを構築した経験や考えを共有できる人はいますか?

zohmgプロジェクトは死んでいるようです（2009年11月以降、新しいコミットはありません）ので、（成功した結果で）それを使用/使用した人がいるかどうかを知りたいと思います。または、このプロジェクトの将来について何か知っている場合。

そうでない場合は、このプロジェクトに代わるものはありますか。（Apache）ログからデータを抽出し（Hadoopをバッチ処理システムとして使用）、HBaseに保存し、このデータのクエリに役立つツールを探しています。

次のグラフ削減アルゴリズムを実装しようとしています

• グラフは無向加重グラフです
• 隣接するノードが 2 つだけのすべてのノードを取り除きたい
• 重みを更新します

次の図を見てください。

アルゴリズム縮小グラフ http://public.kungi.org/graph-reduction.png

アルゴリズムは上のグラフを下のグラフに変換します。ノード 2 を削除し、エッジの重みを w(1-3) = w(1-2)+w(2-3) に更新します。

私は非常に大きなグラフを持っているので、これを MapReduce で行っています。

私の質問は、HBase でグラフを表現する方法です。次のように、HBase で隣接リスト構造を構築することを考えました。

列ファミリー: ノード、隣接 1 -> 2、6、7 ...

これを行うより良い方法はありますか？

HBase FAQ で最初に読んだサンプル スキーマの 1 つは、多対多関係の Student-Course の例です。このスキーマには、Student テーブルに Courses 列があり、Course テーブルに Students 列があります。

しかし、HBase でこれら 2 つのオブジェクト間の整合性を保証する方法がわかりません。あるテーブルを更新する前に何かがクラッシュした場合、問題が発生します。

トランザクション機能があるようですが、すべてのプットでこれを使用するコストはいくらですか? または、問題について考える他の方法はありますか？

zohmgを使用して、HBaseでマッパー、テーブルを正常に作成し、データをテストインポートしました（--local switchを使用）。
しかし、HBaseにマッピングした後、データを挿入する際に問題が発生します。これはエラーです。

私がそれを修正するのに役立つかもしれない手がかりはありますか？（または多分これはダンボの問題ですか？）

HBase は素晴らしいのですが...

ノードが (爆発/焼失/盗難/バラバラに引き裂かれた場合)、データはどうなりますか?

• データは失われていますか？
• クラスターは自動回復できますか?
• ダウンタイムなしで新しいノードを追加できますか?

みんなありがとう、マキシム。

HBaseで行IDを設計する際に、矛盾する2つのアドバイスを見てきました（具体的には、Cassandraにも当てはまると思います）。

1. データの局所性を利用するために頻繁に集約するキーをグループ化します。（White、Hadoop：The Definitive Guideと私はHBaseサイトでそれを見たことを思い出しますが、見つけることができません...）
2. キーを分散して、作業を複数のマシンに分散できるようにします（Twitter、Pig、およびHBase（Twitterスライド14））

どちらが最適かはユースケースによって異なると思いますが、どちらの戦略の経験もありますか？

HBase の適切な Java ORM 実装は誰でも知っています。これはRubyにとって本当に素敵に見えます

http://www.stanford.edu/~sqs/rhino/doc/

しかし、Java用のものは見つかりませんでした。

ありがとう。

基本的に、データを適切なレデューサーにルーティングする必要があります。各ReducerはTableReducerになります。

私は次のファイルを持っています

venodor1、user1、xxxx = n venodor1、user1、xxxx = n venodor2、user2、xxxx = n venodor2、user2、xxxx = n

次のhbaseテーブルに挿入する必要があります

テーブルvendor1：[user1] => {data：xxxx = n} [user2] => {data：xxxx = n}

テーブルvendor2：[user1] => {data：xxxx = n} [user2] => {data：xxxx = n}

形式は[ROW_ID]=>{[FAMILY]：[COLUMN]=[VALUE]}です。

• 各ベンダーには異なるhbaseテーブルがあります
• 行は、行の値に基づいて別のhbaseテーブルに移動する必要があります。

それを行う方法はありますか？カスケードで？これを回避する別の作業はありますか？

ありがとう、フェデリコ