問題タブ [namenode]

私の知る限り、Hadoop 1.x にはセカンダリ namenode がありましたが、プライマリ namenode のイメージを作成するために使用され、失敗したときにプライマリ namenode を更新して再起動しました。しかし、すでにホットスタンバイが存在することを考えると、Hadoop 2.x でのセカンダリ namenode の使用は何ですか?

Hadoop 2.7.2 を Ubuntu 16.04 にシングル モードでインストールしました。ただし、Hadoop の起動後、NameNode サービスも DataNode サービスも実行されません。

状態：

Hadoop で単一ノード クラスタをセットアップしようとしていますが、コマンドstart-all.shを実行した後、jps は namenode を表示せず、すべてのプロセスを停止すると、namenode が停止しないという結果が得られます。また、いくつかの場所で、tmp フォルダーのデータをクリアすると問題が解決することを確認しましたが、hadoop フォルダーでそれを見つけることができません。以下はjpsコマンドの結果です。

私は Hadoop を初めて使用し、物事がどのように機能するかを確認しようとしています。WordCountのこのチュートリアルに従っています。しかし、ステップ9で実行すると

私はこのメッセージを受け取っています：

ここからすべてを試してみましたが、メッセージが表示されます:

しかし、何も変わらず、ディレクトリを作成できません。他に試すことができるものはありますか？Ubuntu 16.04LTS で Hadoop 2.6.0 を使用します。

50mb のファイルがあり、デフォルトの HDFS ブロック サイズが 64mb であるとします。したがって、この 50 MB のファイルを保存した後、他のファイルを保存するために使用できる 14 MB のブロック サイズが残ります。namenode は、HDFS に存在するファイルのブロック情報を追跡します。したがって、この場合、同じブロックを指す 2 つのレコードがあり、1 つは 50 MB ファイル用で、もう 1 つは 14 MB ファイル用です。

私の質問は、namenode がこれら 2 つのレコードを追跡し、2 つのファイルが同じブロックを指しているため、ファイルに関するメタデータ情報を提供する方法です。

OpenJDK v7 u191とともにHadoop v2.7.2を構成し、実行しています。構成が完了すると、名前ノード、データノード、セカンダリ名ノードなどのすべてのプロセスが完全に実行されます ( jpsで確認)。

Oracle VirtualBox でUbuntu 14.0.4 LTSを実行しています (現在、VirtualBox は Windows10 で実行されています)。

システムがしばらく停止 (またはシャットダウン) すると、Hadoop の再起動後に名前ノードの起動に失敗します。名前ノード以外のすべてのプロセスは正常に動作していますが、名前ノードは動作していません。

全体を最初から再インストールして再構成しようとしましたが、問題はそのままです。また、Hadoop を他のソフトウェアと一緒にインストールした場合、エラーは発生しなかったことを付け加えておきます。HDFS の再フォーマットも試みましたが、うまくいきません。

私はビッグデータと Hadoop に不慣れなので、正確に何が間違っているのか、それを段階的に解決する方法を誰かが教えてくれれば非常に役に立ちます。

もう1つ、Hadoopを適切に実行するようにSSHサーバーを構成するように誰かが以前にアドバイスしたので、SSHサーバーを一緒に構成しました。

時々Ubuntuを再起動すると、これが起こります Image: Ubuntu