0

完全に理解する前に、HDFSが同時に多くのファイルを書き込む場合に、HDFSがどのように高いパフォーマンスを維持するかを知りたいです。

たとえば、現在、1つのデータノードで読み取りまたは書き込み用のファイルが100個あります。通常の同期IO操作を行うのに数スレッドしか使用しないと思います。HDFSは、それらを処理するために100個のワーカースレッドを作成しますか、それともそれほど多くのスレッドなしで非同期IOメカニズムを使用しますか？

4

1 に答える 1

1

はい、データノードは 100 スレッドでリクエストを処理します。Hadoop HDFS データノードには、一度に処理できるファイル数の上限があります。上限パラメーターは dfs.datanode.max.xcievers です。デフォルトの上限は 256 です。

于 2012-06-05T12:04:05.950 に答える