0

分散 Hadoop クラスターで、同じ hdfs-site.xml ファイルを namenodes と datanodes にコピーできますか?

私が見たいくつかのセットアップ手順 (Cloudera など) では、データノードのこのファイルに dfs.data.dir プロパティがあり、namenode のこのファイルに dfs.name.dir プロパティがあると書かれています。つまり、namenode 用と datanode 用に 1 つずつ、hdfs-site.xml の 2 つのコピーが必要です。

しかし、それがすべて同じである場合は、ファイルのコピーを 1 つ所有/維持し、変更するたびにすべてのノードにプッシュします。同じファイルに dfs.name.dir と dfs.data.dir の両方のプロパティを含めることに害やリスクはありますか? データ ノードが "dfs.name.dir" のプロパティを認識した場合、どのような問題が発生する可能性がありますか? また、問題がある場合、namenode の hdfs-site.xml ファイルには、datanode ではなく、他にどのようなプロパティを含める必要がありますか? およびその逆。

最後に、クライアント マシン (タスク トラッカーやデータノードではなく、Hadoop クラスターと通信するだけのマシン) にコピーする hdfs-site.xml ファイルに含める必要があるプロパティは何ですか?

O'reilly のオペレーション ブックなどを検索しましたが、ノードごとに構成ファイルをどのように変更する必要があるかを説明している適切な記事が見つかりません。ありがとう！

4

1 に答える 1

0

namenode は masters ファイルから取得されるため、同じ hdfs-site.xml をコピーしても、基本的に FSimage と編集ログは namenode にのみ書き込まれ、datanode には書き込まれません。

2番目の質問について..クラスターに直接参加しないと、必ずしもhdfsと通信できるとは限りません。リモート クライアントが必要な場合は、webhdfs を試して、hdfs 内のファイルに書き込みまたはアクセスできる特定の Web サービスを作成することができます。

于 2013-02-06T02:58:22.987 に答える