問題タブ [namenode]

システムの仕組みを学ぶために、Hadoop を疑似分散モードで実行しようとしています。インストールするために、Hadoop-3.0.0 をサイトからダウンロードし、展開しました。次のように構成を行いました（簡潔にするために構成タグを省略しています）：

core-site.xml

hdsf-site.xml

mapred-site.xml

ヤーンサイト.xml

これを行った後、使用してhdfsをフォーマットしました

また、次を使用してパスワードなしの ssh をセットアップしました。

(また、構成ファイルを使用して id_rsa2.pub を localhost のデフォルトとして追加しました。これは、既に id_rsa.pub を他の何かに使用しており、何かを壊した場合に備えて組み合わせたくないためです)

localhost に ssh できます。すべてがよく見えます。

次に、start-dfs.sh を実行すると、次のエラーが表示されます。

jps を実行すると (yarn と mapreduce 履歴サーバーを起動した後)、次のようになります。

注目すべきことに、SecondaryNameNode が欠落しています。私の推測では、上記のエラーが原因です。

次に、hadoop の fs コマンドを使用してみると、フォルダーを作成して検索することができます。しかし、データをコピーしようとすると、NameNode が SAFEmode であるという通知を受け取ります。次を使用して保存モードをオフにすると：

すぐにオンに戻ります。localhost の namenode ポートに移動すると、次のメッセージが表示されます。

しかし、私にはたくさんのリソースがあります。単一のデータノードは割り当てられたスペースの 8% 未満を使用しており、ネームノードはほぼ 100GB のスペースを使用しています。datanode と namenode はどちらも正常であると報告しています。したがって、問題はセカンダリネームノードの欠如だと思います。それを念頭に置いて、SecondaryNameNode に PrimaryNameNode とは異なる権限の問題が発生する原因を知っている人はいますか? 代わりに、ローカル マシンのどこかに sNN を配置しようとしているようですが、チェックインすると/tmp/hadoop*、すべてのファイル アクセス許可が正常であるように見えます。

助けてくれてありがとう。

古い Hadoop クラスター マシン hadoop - バージョン 2.6 があります。

クラスタ内のすべてのマシンは redhat バージョン - 7.3 です

最後のマスターマシンでスタンバイネームノードを開始する際に問題があります

ログ ( /var/log/hadoop/hdf の下) から、エラーを確認できます -有効なイメージ ファイルが見つかりません

私の解決策についてはよくわかりませんが、/hadoop/hdfs/journal/hdfsha/current の下のファイル ( edits_inprogress_XXXXX )を削除してから、スタンバイの名前ノード サービスを再起動する必要があるということですか?

また、hadoop namenode -formatを試します

しかし、次のように戻ります：

すべての出力:

https://data-flair.training/blogs/installation-of-hadoop-3-x-on-ubuntu/のガイドラインに従って、Ubuntu 16.04 システムに Hadoop をインストールして構成しようとしています。

すべてのステップが正常に実行されましたが、コマンドを実行しようとするとhdfs namenode -formatメッセージが表示されます