問題タブ [hbase]

建築に関するアドバイスが少し必要です。私はJavaベースのWebアプリケーションを持っており、JPAベースのORMがmysqlリレーショナルデータベースにバックアップされています。現在、アプリケーションの一部として、何千ものデータベースレコードを相互に比較するバッチジョブがあります。この作業には時間がかかりすぎており、並列化する必要があります。これを行うためにmapreduceとhadoopを使用することを検討しています。ただし、これを現在のアーキテクチャに統合する方法についてはよくわかりません。最も簡単な最初の解決策は、mysqlからhadoopジョブにデータをプッシュする方法を見つけることだと思います。私はこれについていくつかの初期調査を行い、次の関連情報と可能性を見つけました。

1）https://issues.apache.org/jira/browse/HADOOP-2536これにより、組み込みのJDBCサポートの興味深い概要がわかります。2）この記事http://architects.dzone.com/articles/tools-moving-sql -データベースは、データをmysqlからhadoopに移動するためのサードパーティツールについて説明しています。

正直なところ、私はhbaseとhadoopについて学び始めたばかりですが、これをWebアプリに統合する方法が本当にわかりません。

アドバイスをいただければ幸いです。乾杯、ブライアン

私の知る限り、HBaseの現在の安定したリリースである0.2は、次のバージョンに組み込まれていますが、レプリケーションをサポートしていません。

HBase（0.2）のスタンドアロン（非分散）デプロイメントを複製することをどのように推奨しますか？

セカンダリインスタンスを作業用バックアップ、つまり読み取り専用として使用したい。「結果整合性」と少量の損失（データは重要ではありません）を備えた非同期バックアップを購入できます。

これまでのところ、私の唯一の考えは、プライマリインスタンスに書き込んだ後、非同期でセカンダリインスタンスを手動で更新することでした。

しばらくの間 HBase と通信しなかったときに、この例外が発生します。

org.apache.hadoop.hbase.client.NoServerForRegionException: ルート領域を見つけようとしてタイムアウトしました: 接続が拒否されました

これはセッションの有効期限に関連するものですか?もしそうなら、どうすればセッションの有効期間を延長できますか?

現在、非常に大きなデータセット（数十億）からデータを効果的に保存および取得する方法の問題に直面しています。私たちはmysqlを使用しており、システム、OS、raid、クエリ、インデックスなどを最適化しており、現在、先に進むことを検討しています。

データの問題を解決するためにどのテクノロジーを追求するかについて、十分な情報に基づいて決定する必要があります。私はHDFSでmap/reduceを調査してきましたが、HBaseについても良いことを聞いています。他にも選択肢があると思います。利用可能なテクノロジーとそれぞれのトレードオフの良い比較はありますか？

それぞれに共有するリンクがあれば、それもありがたいです。

クラスターの HBase にアクセスするために、thrift インターフェイス ( http://apache.mesi.com.ar//incubator/thrift/0.5.0-incubating/ ) を使用しています。レコードを接続、取得、表示できます。開始日と終了日を使用します。

ドキュメント ( http://hbase.apache.org/docs/r0.89.20100924/apidocs/org/apache/hadoop/hbase/thrift/doc-files/Hbase.html#Fn_Hbase_scannerOpenWithStop ) によると、

列修飾子で正規表現を渡すこともできます。

私の質問は簡単です - どのように？

私の作業コード:

ToByteArray()とToByteArrayList()は、各文字列に対して ToByteArray を呼び出す ...List を使用した拡張関数であり、リストに詰め込みます。string->byte[] 変換の方法が問題を引き起こす可能性がある場合に備えて、以下に記載しています。

START_ROW上記のコードを実行すると、との変更によって変化するデータが返されますSTOP_ROW。:リストのエントリにコロン ( ) を追加するとCOLUMN_FAMILY:、データが返されます。完全な列名COLUMN_FAMILY:http://www.myurl.com/more/goes/hereを入力すると、その URL のすべての値が取得されます。

私がやりたいのは、COLUMN_FAMILY:http://www.myurl.com/.*(または他の正規表現) を持っていて、関連するデータを返すようにすることです。

必要な例は 1 つまたは 2 つだけです。正規表現を機能させるために欠けているフォーマットまたはトリックがあると思います。

HBase を疑似分散モードで実行しようとしています。しかし、hbase-site.xml を設定した後は機能しません。

hbase シェル内でコマンドを実行しようとするたびに、次のエラーが発生します。

エラー: org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = /hbase の connectionLoss

ssh をセットアップし、すべてのポートが正しいことを確認します。

しかも hbase が止められないのに./bin/stop-hbase.sh。次の出力しか得られません。

メジャー コンパクションでは、リージョン サーバー (Hbase) からのすべての sstable とタブレット サーバー (Cassandra) からのすべての SSTable を大きなものにマージします。

ピリオドが来たら、平均的な SSTables (1 TB を超える合計スペース) が 1 つにマージされますか? SSTable または HFile には、いくつかの部分に分割するいくつかの範囲境界があります。マージ操作で「すべてのサーバーを書き換える」ことがないようにするためですか?

私の質問は、このリンクの「圧縮」セクションに関連しています http://wiki.apache.org/cassandra/MemtableSSTable

Hbaseで次の問題が発生しています。

HBaseシェルを起動し、単一の列を持つテーブルに多くの行を挿入するスクリプトがあります。10,000行を挿入しようとしましたが、約1,700行後に、恐ろしい「java.lang.OutOfMemoryError：新しいネイティブスレッドを作成できません」というエラーが発生します。Javaヒープサイズをデフォルトの1000mbから1800mbに変更しようとしましたが、これでは1700程度を超える行を挿入できません。

ただし、1000行を挿入し、シェルを終了し、シェルを再起動し、同じテーブルにさらに1000を挿入し、再度終了するなどのことができることに気付きました。JVMについて十分に理解していないため、複数のセッションでこれを実行できるのに、同じセッションでバッチ挿入を実行できない理由を理解できません。

誰かが私にここで何が起こっているのか、そして私がそれについて何をするかもしれないのか説明してもらえますか？

編集：

現在、64ビットマシンのRed HatLinux5とJava1.6を使用しています。HBaseに20GBのヒープサイズを与えています（合計で最大32ギガのメモリがあります）。スタックサイズについては、8MBを与えています。64ビットのデフォルトは2MBだと思います。2mbの場合、これと同じエラーが発生し、8mbに増やしてもまったく役に立ちませんでした（スタックサイズに関係なく、同じ量の行しか挿入できませんでした、〜1700）。

ヒープサイズを小さくするとこのエラーがなくなる可能性があることを読みましたが、それも役に立ちませんでした。以下は私が設定しているjvmオプションです（スタックサイズを除いてすべてがデフォルトです）。

テーブルを作成したとしましょう

rowkey（attrId + attr_value）//複合キー

列=>doc：doc1、doc：doc2、..。

スキャン機能を使用すると、イテレータ内で毎回1行をフェッチしますが、列修飾子が数百万のエントリに達した場合はどうなりますか。どのようにそれをループしますか、そしてキャッシュの問題がありますか？

ありがとう。

5つのノードのクラスターがあり、その上にHBaseでいくつかのテーブルを作成し、データを入力しました。ノードの1つに障害が発生し、HBase上のすべてのテーブルを一覧表示できるようになりましたが、2つのテーブルをスキャンまたは無効にすると

NativeException: org.apache.hadoop.hbase.client.NoServerForRegionException: No server address listed in .META. for region TableName,,1295871604968

このテーブルを削除したいのですが、この問題を乗り越えることができません。これにはhbaseシェルを使用しています。