問題タブ [hbase]

ここで少しテスト/pocを実行しています。

毎日数百万行をデータベースにロードする必要があります。そして、それはログファイルデータではありません。リレーショナルデータベースに正確に適合する（列の）コンマ区切りの行があります。

ロード後、非常に高速な検索メカニズムを許可する必要があります。Googleによるbigtableの実装とその周りの構造を少し見て、私は当初、hbaseと統合されたハイブを使用することを考えました。クエリ機能があるため、ハイブ。読み込みは正常に機能し、RDBMSのパフォーマンスよりも優れています。ただし、そもそもRDBMSに代わるものを探す理由であったクエリのボトルネックは、ハイブでも続いています。

クエリ用にハイブをテストすることは、実際には驚くべきパフォーマンスではありません。おそらく私は代替案を探す必要があります。

他に何かありますか？hbaseの上に置くことができる他のツール/ソリューション/ライブラリはありますか？またはhbaseなしでも？（私はhbaseをRDBMSの代替として見て、distコンピューティングに移行しました）

提案をお願いします...

これら2つの間に類似点はありますか？

Is there a way to rollback values to a previous stage at cell level (row level might work also)

I imported a file with wrong data and I just need to go back to previous stage.

ログ ファイルにこのエラー メッセージが表示されますWARN hbase.HBaseConfiguration: instantiating HBaseConfiguration() is deprecated. Please use HBaseConfiguration#create() to construct a plain Configuration。これを取り除くにはどうすればよいですか?

私のクラスは Configured.class を拡張し、次のように構成をインスタンス化しています:

誰かが同様の問題を抱えていましたか？それを修正する方法?

編集

このバージョンの HbaseConfiguration を取得するにはどうすればよいですか:

http://hbase.apache.org/docs/r0.89.20100726/xref/org/apache/hadoop/hbase/HBaseConfiguration.html

hbase Web サイト (バージョン 0.20.6) から最新バージョンをダウンロードしましたが、クラスはこれとは異なり、create() メソッドが欠落しており、その他にもいくつかあります。

MySQL を使用して PHP で開発された Web サイトがあり、トラフィックが増加すると問題に直面することがあります。より多くのリクエストを処理できるようにサイトをあらゆる面でほぼ最適化しましたが、ピーク時にはまだ問題に直面しています。

私の友人の 1 人が、パフォーマンスを改善するためにバックエンドとして HBase / MongoDB を使用してサイトを再構築することを提案しています。また、それを再構築すれば、クラウド サービスに簡単に移行できると示唆しています。しかし、すべてを学び、再開発する必要があります。

そうする方が良いでしょうか？

次を使用して、特定のテーブルを無効にして削除するようにhbaseに指示できます。

しかし、テーブルの名前をハードコーディングせずに、データベース内のすべてのテーブルを削除したいと思います。これを行う方法はありますか？./hbase shellJavaやThriftではなく、コマンドラインユーティリティを使用してこれを実行したいと思います。

Hadoopに保存する必要のあるコレクションフィールドを持つ複雑なオブジェクトがあります。オブジェクトツリー全体を調べて、各フィールドを明示的に格納したくありません。だから私は複雑なフィールドのシリアル化について考え、それを1つの大きなピースとして保存します。そして、オブジェクトを読み取るときにそれをdesirializeするよりも。それで、それを行うための最良の方法は何ですか？そのために何らかのセリゼーションを使用することについては考えていますが、Hadoopがこの状況に対処する手段を持っていることを願っています。

保存するサンプルオブジェクトのクラス：

HBaseを使用して時系列データを保存しようとしています。私たちが現在持っているモデルは、時系列をセル内のバージョンとして保存しています。これは、セルが最終的に何百万ものバージョンを格納する可能性があることを意味し、この時系列に対するクエリは、HBaseの Get クラスで使用可能な setTimeRange メソッドを使用して、バージョンの範囲を取得します。

例えば

これは、時系列データを HBase に格納するための妥当なモデルですか?

データを複数の列に格納する代替モデル (複数の列にわたってクエリを実行できますか) と行のどちらが適していますか?

最近、HBase (列指向データベースの 1 つ) に取り組み始めました。ソースコードを読んでいると、1 つの疑問が頭に浮かびます。これを尋ねる考え。私の質問は、行指向のデータベースが情報検索 (選択クエリなど) をどのように正確に処理するか、および列指向のデータベースになるとどのように異なるかということです。そして、これらのデータベースが基礎となるフラット ファイルにデータを格納する方法の違い (1 日の終わりに、すべてのデータベースがファイルを使用します)。

この質問のどこかで間違っていた場合に備えて、私を修正してください。

よろしく、クリシュナ

こんにちは
、私は Web クローラーを生成しています。それについていくつか知りたいことがあり
ます。1) Map reduce を使用して NET からデータをフェッチ
できますか?
3) HBase からデータを取得するために PHP でアプリを作成できますか? はいの場合、コード スニペットを提供できますか? PHP を使用して HBase からデータを追加/表示/削除するにはどうすればよいですか?