0

ストレージ システムとしての Hadoop について 2 つの質問があります。

  1. 3 つのデータ ノードの Hadoop クラスターがあり、サイズが 128 MB (分割サイズが 64 MB であると仮定) の巨大なファイルの分割を、選択したデータ ノードに転送したいと考えています。これは、そのような場合にどの分割がどの DataNode に行くかを制御する方法です。つまり、3 つのデータ ノード (つまり、D1、D2、D3) があり、特定のデータ ノードに移動する特定の分割 (「A」としましょう) が必要だとします。それを D2 とします。

    どうすればこれを行うことができますか?

  2. Hadoop ファイルシステムの可能な最小分割サイズは? 最小の分割サイズに設定するにはどうすればよいですか。

4

1 に答える 1

1

1) データ ブロックの配置場所を制御できない

2）必要なだけ小さい（おそらく1024バイトの倍数である必要がありますが、これに実際の制約があるとは思いません）が、最新のハードウェアでは、64 / 128 MBより小さいものは非効率的です（指定できますMR ジョブで CPU を集中的に使用する場合は、処理分割サイズを小さくします)

于 2012-08-14T00:47:04.927 に答える