私のプロジェクトでは、飼育係の労働者に関する約 10 ～ 100 mbs のデータを計算しています。次に、HTTP PUT を使用してワーカー プロセスから Web サーバーにデータを転送し、最終的にクライアントに配信します。とにかく、Zookeeper または Curator を使用してそのデータを転送することはありますか?それとも、データを Worker プロセスからアンサンブル外のプロセスに取得するのは自分自身ですか?
質問する
132 次
1 に答える
1
Zookeeper を使用してデータを転送することは、特にこのような比較的大きなサイズのデータの転送にはお勧めしません。実際にそれを行うように設計されていません。Zookeeper は、分散プロセスを同期する場合や、複数のホスト間で共有される比較的小さな構成データを保存する場合に最適に機能します。
ZK ノードごとに 1 Mbのハード リミットがあり、それを限界までプッシュしようとすると、Zookeeper サービスが大量のデータを処理している間に、Zookeeper クライアントがタイムアウトになり、切断された状態になる可能性があります。
于 2014-11-17T08:07:42.113 に答える