問題タブ [apache-zookeeper]

Java API を使用して hbase クラスターに接続しようとしています。API は、クラスター ノードへの接続を試みた後、Zookeeper に接続しています。しかし、今回は次のエラーで失敗します。

hbase によってデフォルトで開かれているため、ノードのポートは開いています。hbase のデフォルト設定を使用しています。ノードは地域サーバーとして設定されます。私は hbase のスタンドアロン構成を使用してみましたが、違いは、同じではない Zookeeper の後に API が接続しているポートです。

この木を動物園の飼育係に書きたいとしましょう

他のクライアントがやって来て、ノードbを作成した直後で、ノード'd'または'e'を書き込める前に削除する可能性があります。

この階層をアトミックに記述したり、特定のパスをロックしたりする方法はありますか？

サーバーがオンラインになったときにサーバーにシャード番号を割り当てるために Zookeeper を使用することについてオンラインでいくつかの投稿を見てきました (クラスター全体でデータをシャーディングしていると仮定して) - しかし、私の人生では、これを行う方法の Java コード例を見つけることができません。誰もこれをすでに機能させていますか？ありがとう。

CentOS6.2 マシンの OpenStack クラスターでプロジェクトを実行しています。プロジェクトは約 10 個の git リポジトリで構成されています。サービスの 1 つのリポジトリ。サービスは、いくつかの役割に基づいて 20 の異なるノードで実行されています。したがって、サービスとロールの間である種のマッピングを行うことができます。手動で行っている場合、クラスターを介して変更を配信するのは面倒です。現在、各ノードでいくつかの構成変更と組み合わせて git pull を使用しています。人的要因が関与しているため、手動エラーのためにクラスターをオフラインにしたくありません。

ソースを更新した後に何かを構成する機能を備えたクラスターに変更を配信するソリューションを探しています (db migration または構成ファイルの更新を実行します)。それに関する良い解決策はありますか？

更新: 以下のプロジェクトは適合するようです。これらの実際の経験はありますか？

• Zookeper: http://zookeeper.apache.org/
• ドゥーザード: https://github.com/ha/doozerd
• ノア: https://github.com/lusis/Noah

元気？

ここでバカに聞こえたらごめんなさい。

基本的なplay2.0-HBaseアプリを作成しようとしています。PlayからHBaseに接続しようとすると、ZooKeeperからHBaseサーバーアドレスのジャンク文字が返されます。

私は弱点に突き止めました。それはorg.apache.hadoop.hbase.zookeeper.ZooKeeperNodeTrackerにあります。ローカルアドレスとポートのジャンク値を含むデータをロードし、それをHServerAddressクラスに渡してさらにアクションを実行します。

私はhbase-site.xml（localhostのみを含む）とhbase-default.xmlを確認しました。これらは、Apacheの指示どおりに正常に表示されます。

以下にスタックトレースを貼り付けています。

誰かがここで私を助けてくれるなら、それを感謝します！ありがとう！

パス「/root/ child1 / child2/child3」を想像してみてください

動物園の飼育係で、おそらくこれの一部が存在することを想像してみてください。たとえば、「/ root/child1」と言ってください。

zookeeperには「mkdir-p」に相当するものはありません。また、いずれかの操作が失敗するとZooKeeper.multi（）が失敗するため、「パスの作成」を実際にマルチ呼び出しに組み込むことはできませんでした。さらに、他のクライアントが同じパスを作成しようとしている可能性があります...

これは私がパスを作成するために思いついたものです。パーツが存在するかどうかを確認して、exists（）呼び出しのラウンドトリップを保存することも価値があるのではないかと思います。

これを行うための最も効率的な方法は何でしょうか？a）パスがすでにどれだけ存在するかが事前にわからず、b）他のクライアントが同じパスを書き込もうとしている可能性があると仮定します（ロックを回避したい）。

Java アプリケーション、特に Spring サービスの構成を配布するために使用されている Apache ZooKeeper のよく文書化されたユースケースはありますか?

クラウド サービスの多くのユーザーと同様に、私はさまざまな量の Java サービスの構成を、できれば実行時にサービスを再起動する必要なく変更する必要があります。

アップデート

最終的には、ZooKeeper ノードをプロパティ ファイルとしてロードし、それを作成ResourcePropertySourceして Spring コンテキストに挿入するものを作成することになりました。これは、コンテキストが開始された後の ZooKeeper ノードの変更を反映しないことに注意してください。

ubuntu vmで実行されているZookeeper v3.3.3 + dfsg2-1ubuntu1を使用しています。(VM は NAT ネットワーク接続で実行されています)

私の開発マシン (windows 7) で実行するzkCli.cmd -server 10.10.135.19:2181と、正常に接続されcreate、s、gets などを実行できます。

Org.Apache.ZooKeeper v1.0.0.0 に NuGet 依存関係を持つ C# 4 アプリケーションがあります。

私は次の方法でそれを使用しています：

問題は、これがハングすることです。Zookeeper のログには、次のように表示されます。

そして、これは手動でプロセスを強制終了するまで続きます。つまり、WaitUntilConnected()メソッドは決して戻りません。(デバッグで確認済み)

クライアント接続がサーバーに正常に到達したように見えますが、Watcher はこれを認識せず、そのチャネルでそれ以上何も起こらず、クライアントが再試行するためだけにサーバーが接続を切断します。ここで私が間違っていることはありますか？

私は Hadoop で HBase をセットアップしようとしており、Michael G. Nollとhereによるオンラインのさまざまな優れたチュートリアルに従っています。基本的にすべて問題ありません。私の Hdfs と MapRed は Web インターフェイスでうまく機能し、2 つのノードがあることを示しています (私の NameNode は NameNode と DataNode の両方ですが、これはテスト目的のためだけです)。

HBase をインストールするポイントに到達すると、問題が発生し、さまざまなエラーが発生します。私が持っている最新のものは、スレーブノードのログファイルにあります

しかし、私が入力するとき

両方のマシンが実行されているモードを示しています。この問題が何であるかは誰にでもわかります。または、これをセットアップするために従うことができる別のガイド/チュートリアルを知っている人はいますか? 分散 HDFS での HBase のセットアップに関する HBase のドキュメントに従ってみましたが、うまくいきません。

助けてくれてありがとう！

ワークステーションで HBase を疑似分散モードで実行しています。また、HBase をクラスターで実行しています。HBase シェルを使用して、ワークステーションからクラスターで実行されている HBase インスタンスにアクセスしたいと考えています。クラスタ マシンの 1 つにログインせずにこれを実行したいと考えています。

Hadoop では、-conf パラメーターを指定し、代替バージョンの hadoop-site.xml を提供することで、リモート クラスターでジョブを実行できます。HBase シェルに相当するものはありますか?

ワークステーションとクラスター マシンで cloudera cdh3u3 を実行しています。