問題タブ [apache-zookeeper]

いくつかのn層サービスのアプリケーションサーバーである同一のノードがいくつかあるとします。また、Apache ZooKeeperを使用して、分散アプリケーションのすべての構成を保持するとします。さらに、このアプリケーションの前にロードバランサーとリバースプロキシとしてnginxがあります。

したがって、node1でのみデータを変更するコマンドを実行し、しばらくの間、node2がnode1とは異なるとします。そして、すべての情報がnode2に移行され、node2がnode1と同じデータを持つまで、プロキシがすべての特別な要求（その特定のデータを必要とする）をnode1にリダイレクトする必要があります。

nginx（または他のプロキシ）にApache ZooKeeperから構成を読み取らせる方法はありますか？またはもっと広い：プロキシ構成をオンザフライで効果的に切り替える方法はありますか？そしてもちろん、システム全体のダウンタイムなしで（または最小限の状態で）実行する必要があります。したがって、nginxを再起動することはできません。

統合されたSolrCloudで提案されているSolrトランクを試しています。ZooKeeper

試してみるとExample C、Two shard cluster with shard replicas and ZooKeeper ensembleこの例を Ubuntu または Windows で実行できませんでした。最初のサーバーの起動時にソケット接続エラーが発生したため、続行できません。

Solr が ZooKeeper とどのように統合されているか (ZooKeeper が使用しているもの) に関する詳細情報を見つけたいと思います。

ZooKeeper の資料をたくさん読みましたが、シャーディングと分散検索における Solr の情報はほとんどありません。

私がsupervisordで直面している問題の1つは、別のプロセスを生成するコマンドがある場合、supervisordがそれを強制終了できないことです。

たとえば、正常に実行されると次のようなJavaプロセスがあります

Supervisord 構成ファイルは次のようになります。

複数の子を持つこの種のプロセスは、それらを から停止する場合、supervisord によって適切に処理されませんsupervisorctl。したがって、supervisord からこれを実行し、supervisorctl から停止しようとすると、最上位プロセスのみが強制終了されますが、実際の Java プロセスは強制終了されません。

ClouderaManagerを使用して構成されたCDH3u2を使用する8ノードクラスターがあります。zookeeperの唯一のインスタンスを実行する専用のマスターノードがあります。マスターノードから実行されるローカルHadoopを実行するようにハイブを構成すると、HBaseからデータを取得するのに問題はありません。ハイブを介して分散マップ/リデュースを実行すると、スレーブノードがzookeeperに接続するときに次のエラーが発生します。

HBaseはZooKeeperに接続できますが、接続はすぐに閉じます。これは、サーバーの接続数が多すぎることを示している可能性があります（デフォルトは30）。

最大接続数を高く設定しようとしました（制限を削除しようとしました）。これはユーザーが非常に少ない開発クラスターです。問題は接続が多すぎることではないことを知っています（./zkCliを使用してスレーブノードからzookeeperに接続できます）。

サーバー側のログは、セッションがクライアントによって終了されたことを示しています。

クライアント側のhadoopログによると：'原因：org.apache.zookeeper.KeeperException $ ConnectionLossException：KeeperErrorCode = ConnectionLoss for / hbase

Hive Map / Reduceを介してZookeeperへの接続を維持できない理由はありますか？

hbaseとzookeeperの構成は次のとおりです。

HBaseサイト-XMLは次のとおりです。

ワーカーをブロックせずにジョブを遅らせる機能を備えたキューをzookeeperに実装するための良い方法として、皆さんは何を提案しますか？

参照beanstalkd遅延ジョブオプション。

アプリケーションにHbaseとHadoopの組み合わせを使用し、ORMとしてDataNucleusを使用しています。

一度に複数のスレッドを介してhbaseにアクセスしようとしているとき。次のように例外をスローします：

必要に応じて、完全なスタックトレースを提供できます（完全なスタックトレースを使用すると、ここで問題が発生するため）。

この種の状況に対処する方法について、いくつかの手がかりを手伝ってください。接続プールを増やすために必要な構成はありますか？

Zookeeperを作業キューとして使用し、それに接続する場合は、個々の消費者/作業者。これらのワーカーのアクティビティをログに記録するための優れた分散セットアップとして、何をお勧めしますか？

次のように想定します。

1）いつでも、Hadoopクラスターを収容する単一のコンピューターを1台にすることができます。システムは必要に応じて自動スケールアップおよびダウンダウンしますが、1台のコンピューターのみが必要な場合に多くのダウンタイムが発生します。

2）ワーカーが配置されている個々のマシンにアクセスせずに、すべてのワーカーログにアクセスする機能が必要です。これらのログの1つを読むまでに、そのマシンは非常によく終了し、長い間使用されていない可能性があることを覚えておいてください。

3）ログに簡単にアクセスできる必要があります。つまり、cat / grepとtailを実行できるか、あるいはよりSQLっぽい方法で実行できる必要があります。クエリと出力の監視の両方をリアルタイムで実行できる必要があります。時間。（つまり、tail -f /var/log/mylog.1）

ここであなたの専門家のアイデアに感謝します！

ありがとう。

org.apache.zookeeper.server.quorum.QuorumPeerMain.main（）の呼び出しが機能していません。

Zookeeper を統合し、Hadoop が Zookeeper の名前空間を使用できるようにすることで、単一障害点の問題に対処したいと考えています。出来ますか？どうすればこれに対処できますか?

HBaseの最小サーバー構成は何台ですか？

完全分散、シャーディングを使用しますが、Hadoop は使用しません。本番環境用です。

このような説明を楽しみにしています。

• サーバー 1: 飼育係

• サーバー 2: 地域サーバー

  ... もっと

ありがとうございました。