この方法でセットアップされた Hadoop クラスターのスペースが不足しています。
- 1x 1TB HDD / <- Ubuntu システム パーティション
- 3x 1.5TB HDD /data1 /data2 /data3 <- HDFS データ ボリューム
システム パーティションはほとんど使用されず (97% 空き)、hadoop に関係のないタスクには使用されません。
システム パーティションを HDFS データ ディレクトリとして DataNode 構成に追加しても安全ですか?
Hadoop によってパーティションがいっぱいになり、システムが使用できなくなるのではないかと心配しています。
おそらく最善の方法は、個別の lvm ボリュームをセットアップするか、ディスクを再パーティション化することです。しかし、私はこの方法を避けるでしょう。
Hadoop は UNIX クォータを尊重しますか? たとえば、システム パーティションからディレクトリを追加し、クォータを使用して Hadoop ユーザーを制限し、たとえば 0.5TB のみを使用するように制限すると、それは役に立ちますか?