hadoop - Hadoopdfsレプリケート

Question

申し訳ありませんが、簡単な質問ですが、Googleで正確な質問を見つけることができません。dfs.replicationとはどういう意味ですか？hdfsでfilmdata.txtという名前のファイルを1つ作成した場合、dfs.replication = 1を設定すると、完全に1つのファイル（1つのfilmdata.txt）になりますか？またはメインファイル（filmdata.txt）のほかにhadoopが別のレプリケーションファイルを作成します。簡単に言うと、dfs.replication = 1を設定すると、filmdata.txtが1つ、またはfilmdata.txtが2つになりますか？前もって感謝します

Answer 1

ファイルシステム内のファイルの総数は、dfs.replicationファクターで指定された数になります。したがって、dfs.replication = 1を設定すると、ファイルシステムにはファイルのコピーが1つだけ存在します。

その他の構成パラメーターについては、 Apacheのドキュメントを確認してください。

Answer 2

データの高可用性を確保するために、Hadoopはデータを複製します。

ファイルをHDFSに保存する場合、hadoopフレームワークはファイルをブロックのセット（64MBまたは128MB）に分割し、これらのブロックはクラスターノード間で複製されます。構成dfs.replicationは、必要な複製の数を指定します。 。

dfs.replicationのデフォルト値は3ですが、これはクラスターの設定によって構成可能です。

お役に立てれば。

Answer 3

Praveenによって提供されたリンクは現在壊れています。これは、パラメーターdfs.replicationを説明する更新されたリンクです。

Hadoopクラスターのセットアップを参照してください。構成パラメーターの詳細については。

ファイルは複数のブロックにまたがることができ、各ブロックはdfs.replicationで指定された回数複製されることに注意してください（デフォルト値は3です）。このようなブロックのサイズは、パラメーターdfs.block.sizeで指定されます。

Answer 4

HDFSフレームワークでは、データを格納するためにコモディティマシンを使用します。これらのコモディティマシンは、RAMの高いサーバーのようなハイエンドマシンではなく、データノード（d1、d2、d3）またはブロック（b1）を失う可能性があります。 、b2、b3）、その結果、HDFSフレームワークはデータの各ブロック（64MB、128MB）を3つのレプリケーション（デフォルト）に分割し、各ブロックは別々のデータノード（d1、d2、d3）に格納されます。ここで、block（b1）がdata-node（d1）で破損したと考えてください。ブロック（b1）のコピーはdata-node（d2）とdata-node（d3）でも使用できるため、クライアントはdata-node（d2）を要求できます。 ）ブロック（b1）データを処理して結果を提供し、データノード（d2）が失敗した場合と同じように、クライアントはデータノード（d3）にブロック（b1）データを処理するように要求できます。これは呼ばれます-dfs.replicationmean。

明確になったことを願っています。