単一サーバー上の単一ノードに基づく Cloudera 5 インストールがあります。クラスターに 2 つのノードを追加する前に、新しいディスクを使用してパーティションのサイズを増やしたいと考えています。
以下のサービスがインストールされています。
- 1 つの NodeManager、1 つの JobHistory および 1 つの ResourceManager を持つ糸
- hdfs と 1 つのデータノード、1 つのプライマリ ノードと 1 つのセカンダリ ノード
- 1 つのマスターと 1 つのリージョン サーバーを持つ hbase
- 1 台のサーバーを備えた飼育係
現在、すべてのデータがパーティションにインストールされています。収集するデータの数が増えたため、すべての情報を保存する別のディスクを使用する必要があります。
すべてのデータは、フォルダー /dfs にマウントされたパーティションの下にあります
作業パーティションは次のとおりです。
df-h
hadoop-dfs-partition 119G 9.8G 103G 9% /dfs
df-i
hadoop-dfs-partition 7872512 18098 7854414 1% /dfs
このフォルダの内容は次のとおりです。
drwxr-xr-x 11 ルート ルート 4096 2014 年 5 月 8 日 dfs
drwx------。2 root root 16384 2014 年 5 月 7 日 lost+found
drwxr-xr-x 5 root root 4096 2014 年 5 月 8 日 yarn
dfs の下には、次のフォルダーがあります。
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 dn
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 dn1
drwx----- 3 hdfs hadoop 4096 Feb 23 18:14 dn2
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 nn
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 nn1
drwx------ 3 hdfs hadoop 4096 Feb 23 18: 14 nn2
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 snn
drwx------ 3 hdfs hadoop 4096 Feb 23 18:14 snn1
drwx------ 3 hdfs hadoop 4096 Feb 23 18 :14 snn2
yarn の下には、次のフォルダーがあります。
drwxr-xr-x 9 糸 hadoop 4096 11 月 9 日 15:46 nm
drwxr-xr-x 9 糸 hadoop 4096 11
月 9 日 15:46 nm1
どうすればこれを達成できますか? distcp コマンドを使用してクラスター間でデータを移行する唯一の方法を見つけました。
生データを移動する方法が見つかりませんでした。
すべてのサービスを停止し、クラスター全体をシャットダウンしてから、
cp -Rp /dfs/* /dfs-new/
コマンドは実行可能なオプションですか?
(新しいディスクの新しい ext4 パーティションがマウントされているフォルダー内の /dfs-new)
これを行うより良い方法はありますか？
前もって感謝します