問題タブ [hbase]

私はhadoopが初めてです。Hdfs から入力を取得し、リデューサーの出力を Hbase に書き込む MapReduce ジョブがあります。良い例が見つかりませんでした。

コードは次のとおりです。この例を実行する際のエラーは、マップ内の型の不一致です。ImmutableBytesWritable が IntWritable を受け取りました。

マッパークラス

レデューサークラス

私はHDFSでのみ同様の仕事をしていて、うまくいきました。

2013 年 6 月 18 日編集。大学のプロジェクトは 2 年前に成功裏に終了しました。ジョブ構成（ドライバー部分）については、正解にチェックを入れてください。

hbaseマスターの起動中に次のエラーが発生します。

java.net.BindException：/67.215.65.132:60000へのバインドの問題：要求されたアドレスを割り当てることができません

誰かがhbaseの何が問題なのか知っていますか？

約15万行のHBASEテーブルがあり、それぞれに3700列が含まれています。

一度に複数の行を選択し、次のように結果を集計する必要があります。

行[1][列1]+行[2][列1]...+行[n][
列1]行[1][列2]+行[2][列2]...+行[n][ column2]
...
row [1] [columnn] + row [2] [columnn] ... + row [n] [columnn]

スキャナーを使用して実行できる問題は、スキャナーがカーソルのようなものであり、同時に複数のマシンに分散された作業を実行するのではなく、ある領域からデータを取得してから別の領域にホッピングすることです。次のデータセットを取得するためのリージョンなど、結果が複数のリージョンにまたがる場合。

分散してスキャンする方法（オプション、または各地域のデータに対応する複数のスキャナーを作成する方法[これはそれ自体がワームの缶である可能性があります]）はありますか、それともマップ/リデュースジョブで実行する必要があるものですか？ 。M / Rジョブの場合、リアルタイムクエリに十分な「高速」でしょうか。そうでない場合は、NOSQLタイプのデータベースを使用してこれらのタイプの集計をリアルタイムで実行するための優れた代替手段はありますか？

私はこれに長い間取り組んできましたが、とても疲れています。SO コミュニティからの [明白な?] 洞察を期待しています。Cloudera CDH3、HBase .89、および Hadoop .20 を使用しています。

Thrift インターフェイスを使用して単一の HBase テーブルにデータを書き込む Python/Django アプリがあり、うまく機能します。ここで、それをいくつかの HBase テーブルにマップ/削減したいと考えています。

ここでの明白な答えは Dumbo または Apache PIG ですが、Pig では、HBaseStorage アダプターのサポートは私のバージョンではまだ利用できません (Pig はクラスと定義をロードできますが、「マップ」ステップでフリーズし、「 Input Splits"; Pig メーリング リストは、これが CDH3 Hadoop と互換性のない Pig 0.8 で修正されていることを示唆しているため、すべてのエッジ バージョンを使用する必要があります [私が思う])。Dumbo に HBaseStorage をデータ シンクとして使用させる方法に関する情報が見つかりません。

それが Python、Ruby、Scala、Clojure、Jython、JRuby、さらには PHP であるかどうかは気にしません。Java を書きたくないだけです(多くの理由から、そのほとんどは毎回感じる沈没感に関係しています) Int() を IntWritable() などに変換する必要があります)。

代替言語で HBase Map/Reduce ジョブを作成するために (過去 4 週間) 見つけることができる最後のソリューションと例を文字通りすべて試しましたが、すべてが古くなっているか不完全なようです。スタック オーバーフロー、自分のデバイスから私を救ってください!

私は、Hadoop、Cassandra などの分散 NoSQL データベースを初めて使用します。専門家のアドバイスを求める質問がいくつかあります。

1. MySQL のような現在の従来のデータベースからこれらの大規模なクラスターベースのデータベースに移行する際に一般的に直面する問題/課題を挙げていただけますか?
2. これらのオープン ソース プロジェクトの新しいバージョンに適応する必要がある場合、どのような困難がありますか?
3. ページの高速レンダリングのために memcached に一般的に保存/保持されるものをリストアップできますか?
4. オープンソース プロジェクトのソース コードを理解して、その上に構築し、コミュニティに還元するにはどうすればよいですか?

上記の質問はばかげて基本的なものに聞こえるかもしれませんが、専門家が上記の質問に詳細かつ可能な限り回答するように依頼してください。

私は、オブジェクトとオブジェクト間の関係の大規模なデータベースを保存することを含む個人的なプロジェクトを開始しています。Hadoop と HBase を選択したのは、マルチノードである必要があり、データの多くがまばらであるためです。

RDBMS の世界から来た私は、HBase の列指向の構造を読むのに多くの時間を費やしました。現在のドキュメントを考えると、オブジェクトとオブジェクト間の関係を格納する方法を理解するのに苦労しています。

オブジェクト自体は、他のオブジェクトとの関係を無制限に持つことができ、任意の属性を無制限に持つことができます。リレーションシップは、属性を持つこともできます。私の目標は、「既婚」関係によってリンクされた 2 つの「人物」オブジェクトを作成することです。既婚関係には「日付」という属性があります。(将来的には) MapReduce を記述して、すべてをすばやく検索できるようにしたいと考えています。 x と y の間で結婚した人。

最近、著者が Hbase と Hive の統合について言及しているブログを見つけました。これは可能でしょうか。可能であれば、両方を使用する利点は何ですか (パフォーマンスとスケーラビリティの観点から)。私が間違っていた場合は、親切に修正してください。

HBase で複数の行を削除する効率的な方法はありますか? または、私のユース ケースは HBase に適していないように思えますか?

チャートに含まれるアイテムを含む「チャート」というテーブルがあります。行キーの形式は次のとおりです。 chart|date_reversed|ranked_attribute_value_reversed|content_id

特定の日付のグラフを再生成したい場合があるため、「chart|date_reversed_1」から「chart|date_reversed_2」までのすべての行を削除したいと考えています。Scan で見つかった行ごとに Delete を発行するよりも良い方法はありますか? 削除されるすべての行は、互いに近くなります。

行を削除する必要があるのは、1 つのアイテム (1 つの content_id) に複数のエントリを持たせたくないためです。

私は HBase の初心者なので、行を間違って使用しているのかもしれませんが、列の方が優れているかもしれません。それとも、グラフをファイルで生成したほうがよいのでしょうか (出力用の HBase がないなど)。MapReduce を使用しています。

Ubuntu 10.04LTSでHadoop0.21.0とともにHbase0.20.6を使用していますが、マスターエラーを開始できません。（エラーは、hbase-root-master-ubuntu.logファイルからの投稿の最後に添付されています）

Hbase0.20.6はHadoop0.21.0で正常に動作しますか？そうでない場合、回避策はありますか？

問題の原因は何ですか？

お手数をおかけしますが、よろしくお願いいたします。

ログ：

HBaseシェルは、インタラクティブRubyシェルirbのJRuby実装であるjirbに基づいています。このシェルを介する以外に、プログラムでJRubyのHBaseと対話するための優れたトリックはありますか？

Hadoop wikiの例は、JavaAPIへの直接の呼び出しであるように見えます。他にできることはありますか？