2

単一サーバー上の単一ノードに基づく Cloudera 5 インストールがあります。クラスターに 2 つのノードを追加する前に、新しいディスクを使用してパーティションのサイズを増やしたいと考えています。

以下のサービスがインストールされています。

  • 1 つの NodeManager、1 つの JobHistory および 1 つの ResourceManager を持つ糸
  • hdfs と 1 つのデータノード、1 つのプライマリ ノードと 1 つのセカンダリ ノード
  • 1 つのマスターと 1 つのリージョン サーバーを持つ hbase
  • 1 台のサーバーを備えた飼育係

現在、すべてのデータがパーティションにインストールされています。収集するデータの数が増えたため、すべての情報を保存する別のディスクを使用する必要があります。

すべてのデータは、フォルダー /dfs にマウントされたパーティションの下にあります

作業パーティションは次のとおりです。

df-h

hadoop-dfs-partition 119G 9.8G 103G 9% /dfs

df-i

hadoop-dfs-partition 7872512 18098 7854414 1% /dfs

このフォルダの内容は次のとおりです。

drwxr-xr-x 11 ルート ルート 4096 2014 年 5 月 8 日 dfs
drwx------。2 root root 16384 2014 年 5 月 7 日 lost+found
drwxr-xr-x 5 root root 4096 2014 年 5 月 8 日 yarn

dfs の下には、次のフォルダーがあります。

drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 dn
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 dn1
drwx----- 3 hdfs hadoop 4096 Feb 23 18:14 dn2
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 nn
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 nn1
drwx------ 3 hdfs hadoop 4096 Feb 23 18: 14 nn2
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 snn
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 snn1
drwx------ 3 hdfs hadoop 4096 Feb 23 18 :14 snn2

yarn の下には、次のフォルダーがあります。

drwxr-xr-x 9 糸 hadoop 4096 11 月 9 日 15:46 nm
drwxr-xr-x 9 糸 hadoop 4096 11
月 9 日 15:46 nm1

どうすればこれを達成できますか? distcp コマンドを使用してクラスター間でデータを移行する唯一の方法を見つけました。

生データを移動する方法が見つかりませんでした。

すべてのサービスを停止し、クラスター全体をシャットダウンしてから、

cp -Rp /dfs/* /dfs-new/

コマンドは実行可能なオプションですか?

(新しいディスクの新しい ext4 パーティションがマウントされているフォルダー内の /dfs-new)

これを行うより良い方法はありますか?

前もって感謝します

4

1 に答える 1