問題タブ [hbase]

私はWebクローラーを開発していますが、データの保存に適していますか？CassandraまたはHadoopHiveまたはMySQL？そしてなぜ？私はMySQL DBに過去6か月の1TBのデータを持っているので、それらにインデックスを付ける必要があり、できるだけ早く検索に出力する必要があります。クローラーが高速に動作しているため、10 Peta Byesのように、より多くのデータを保存します。読み取り/書き込み操作を高速にする必要があります。PHPアプリに統合する必要があります。

次のシナリオで最もよく説明できる質問が1つあります。

BaseCategory、Category、およびproductsの3つのテーブルがあるとします。RDBMSの観点から考えている場合、これらのテーブル間の関係は次のとおりです。

1-1つのBaseCategoryには多くのカテゴリがあります2-1つのカテゴリには多くの製品があります。

今、私はそれをHBaseに変換することを考えています。誰かがこれらの関係をHBaseにマッピングする方法を教えてもらえますか？

2つのSingleColumnValueFilterオブジェクトを使用してHBaseテーブルから行をフィルタリングし、列の長い値の範囲内にあるすべてのレコードを取り戻そうとしています。SingleColumnValueFilterのドキュメントによると、独自のコンパレータを渡さない限り、列値の辞書式比較を実行します。APIは、これを実現する方法としてWritableByteArrayComparableを使用するSingleColumnValueFilterを示しています。

WritableByteArrayComparableを拡張し、compareメソッドを上書きするクラスを作成しました。

私は以下を使用してフィルターを設定しています：

しかし、次の例外が発生しています。

Webを見ると、この実行の原因についてのコンセンサスは、resultScanner.next（）にアクセスするコードに時間がかかりすぎて、regionServerへのリースがタイムアウトすることですが、この例外は以前にスローされています

反復できるResultScannerで戻ります。

誰かが、動作するSingleColumnValueFilterでカスタムコンパレータを使用する例、または私が間違っていることについての洞察を持っているか、知っていますか？

休暇中に、私はPatHellandの「 LifeBeyondTransactions」を読みました（そうです、休暇はとても良かったです:)。簡単にまとめると、トランザクションの範囲を単一のエンティティに制限し、エンティティを更新したり、タスクを無効にする変更が発生したときにタスクをキャンセルしたりできる「アクティビティ」のグループを使用することを提唱しています。

（たとえば、出荷オーダーAにはある程度のアイテム1が必要です。出荷オーダーとアイテムはエンティティとして保存され、独自のアクティビティがあります。出荷オーダーBは、Aが終了する前にアイテム1の最後と一緒に出荷されます。アイテム1のアクティビティは、出荷オーダーAをキャンセルします。 。）

ダイナモ紙を印刷していると思っていたので、ここで2つを混同してしまったらご容赦ください。DynamoとBigTableの影響を受けた「NoSQL」プロジェクトをかなり多く見ました。特に、キーとパーティションデータによってエンティティをアドレス指定する方法についてです。このEntity-Message-Activityモデルがそれらのいずれかに影響を与えているかどうか疑問に思いましたか？

または、より具体的に言えば、HBase、Cassandra、Riakなどで複数のエンティティにまたがる操作がある場合、アクティビティをすべて自分で実装する必要がありますか（アプリケーションのデザインパターンの詳細として） 、または既存のフレームワークのようなものはありますか？それとも、彼らはこの質問全体を無意味にする何か他のことを完全に行っていますか？

ありがとう！

Ruby用のHBaseORM/アダプターは何ですか？どれが最高ですか？なぜ？

hbase、cassandra、couchdb、monogodbの間に根本的な違いがあるかどうか知りたかっただけですか？言い換えれば、彼らはすべてまったく同じ市場で競争し、まったく同じ問題を解決しようとしていますか？または、さまざまなシナリオに最適ですか？

これはすべて、私がいつ何を選ぶべきかという問題になります。好みの問題？

ありがとう、

フェデリコ

私はクラウド上で実行される検索エンジンの設計に取り組んでいます。私たちはまだ始めたばかりで、Hdoopについてはあまり考えていません。HBase、MapReduce、およびHDFSが、Hdoopがインストールされ、実行されている単一のマシンで動作できるかどうかを誰かが知ることができますか？

MongoDB（ドキュメントベース）、HBase（列ベース）、Neo4j（オブジェクトグラフ）の長所と短所は何ですか？

それぞれの典型的なユースケースのいくつかを知ることに特に興味があります。

グラフが他の方法よりもうまく解決できる問題の良い例は何ですか？

たぶん、SlideshareやScribdに値するプレゼンテーションはありますか？

データがリレーショナル（publishers-authors-books、associations-teams-players）の場合、HBaseやMongoDBなどのNoSQLシステムを使用してデータを保存できますか？

（私はそれがばかげた質問のように聞こえるかもしれませんが、私はただ学んでいます:)）

非分散モードで hbase を起動できることは知っています。1 つのノードからいくつかのノード、さらには本格的なクラスターまでの範囲で、運用環境でそれを使用することが実用的かどうかは、私の読みからは明らかではありません。別の方法は、インターフェースを抽象化し、小さなケースではより単純なものに投げ込むことです。スケーリング範囲のローエンドに hbase をデプロイした経験のある人はいますか?