1

この方法でセットアップされた Hadoop クラスターのスペースが不足しています。

  • 1x 1TB HDD / <- Ubuntu システム パーティション
  • 3x 1.5TB HDD /data1 /data2 /data3 <- HDFS データ ボリューム

システム パーティションはほとんど使用されず (97% 空き)、hadoop に関係のないタスクには使用されません。

システム パーティションを HDFS データ ディレクトリとして DataNode 構成に追加しても安全ですか?

Hadoop によってパーティションがいっぱいになり、システムが使用できなくなるのではないかと心配しています。

おそらく最善の方法は、個別の lvm ボリュームをセットアップするか、ディスクを再パーティション化することです。しかし、私はこの方法を避けるでしょう。

Hadoop は UNIX クォータを尊重しますか? たとえば、システム パーティションからディレクトリを追加し、クォータを使用して Hadoop ユーザーを制限し、たとえば 0.5TB のみを使用するように制限すると、それは役に立ちますか?

4

1 に答える 1

1

はい、Hadoop は一般的なファイル書き込み API を使用してブロック データを書き込み、Unix レベルのクォータを尊重します。さらにdfs.datanode.du.reserved、DataNode が書き込みを考慮しない、ボリュームごとの予約済みスペース (すべてのボリュームに適用される) を設定できる config プロパティがあります。

ただし、一般に、OS マウントへの書き込みを許可することはお勧めできません。最終的により多くのストレージ容量を探すことを想定している場合 (すでに限界に達していることを考えると)、さらにいくつかのディスクを購入して DataNode にマウントすることをお勧めします。

于 2012-11-17T09:52:55.283 に答える