0

Hadoop は初めてで、AWS Elastic Mapreduce で実行しています。

Hadoop でクラスター全体のアトミック カウンターが必要であり、これには Zookeeper を使用するよう提案されました。

Zookeeper は Hadoop スタックの一部であると思いますが (そうですか?)、クラスター全体のカウンターを設定および更新するには、Elastic Mapreduce ジョブからどのようにアクセスすればよいでしょうか?

4

2 に答える 2

0

Praveen Sripatiが答えるように、あなたはそうすることができます。しかし、私はいくつかの点を明確にしたくありません：

  1. zkの書き込み速度には制限があることに注意してください（1秒あたり最大300リクエスト）
  2. クライアントは古いデータを見ることができます（zkはレプリカ間の読み取りの一貫性を保証しません）。

シーケンスを生成する専用のシーケンスジェネレーターサーバーを使用することをお勧めします（このサービスはZkまたは必要なものを使用できます）。そのようなサービスの一例：https ：//github.com/kasabi/H1

于 2012-10-27T22:55:39.960 に答える
0

Zookeeper は Hadoop スタックの一部だと思います (そうですか?)

ZooKeeper (ZK) は Hadoop スタックの一部ではありません。これは Apache のトップ レベル プロジェクト (TLP) であり、Hadoop から独立しています。そのため、最初に ZK を EC2 にインストールする必要があります。同じ手順を次に示します。

クラスター全体のカウンターを設定および更新するために、Elastic Mapreduce ジョブからアクセスするにはどうすればよいですか?

インストールされた ZK は、ZK API を使用してクラスター全体のカウンターを生成するために使用できます。ここ ( 1および2 ) は、長所と短所を含むアプローチに関する議論です。同じ要件に対する ZKの他の代替手段を次に示します。

于 2012-10-27T08:08:49.540 に答える