問題タブ [namenode]

Hadoop私はかなり前から Windows 7にインストールしようとしてきました。手順については、このブログをフォローしています。しかし、残念ながら私は実行できませんでしたNamenode。hdfs-site.xmlファイルに問題があるようですが、問題はありません。ぜひご覧ください

hdfs-site.xml

hdfs namenode -formatコマンドプロンプトでコマンドを実行すると、エラーログが表示されます。

ここで私が間違っていることを誰でも教えてもらえますか?

UPDATE 物事を正しく設定してくれた@Binary Nerdに感謝します。しかし、システム アーキテクチャが 32 ビットでNameNodeあり、起動されておらず、次のエラーが表示されるにもかかわらず、別の問題に直面しています (抜粋)。

2 つの異なる Hadoop クラスターで 1 台のコンピューターをデータ ノードとして使用したいと考えています。ポートを変更しようとしましたが、うまくいきませんでした。ポートの変更が必要かどうか教えてください。

HA 環境に 2 つのネームノードがあります。そして、HA 名前空間を指すように構成された Hive。しかし、途中で私のHiveがパッシブなnamenodeを指すことに失敗し、アクティブなnamenodeがまだサービス中であるにもかかわらず、以下のエラーが発生します。問題がどこにあるかを掘り下げるのを手伝ってください。Zkfc ログでさえ、Hive に障害が発生したときに発生したフェイルオーバーは示されません。

IO ストリームを設定できませんでした。ホストの詳細: ローカル ホスト: "my node/10.10.11.6"; 宛先ホスト: "パッシブ ノード":8020;

私たちは最近、NameNode 関連のメモリとガベージ コレクションの問題を調査するための支援として、いくつかのクラスター (正確なバージョンは異なります) で Hadoop NameNode の GC ロギングを有効にすることを決定しました。クラスタ内のすべての NameNode (アクティブとスタンバイ、またはプライマリとセカンダリ) にこれが必要です。また、発生する可能性があることがわかっている次の 2 つの問題も回避したいと考えています。

• なんらかの理由で NameNode が再起動したときのログ ファイルの上書き
• ログがディスク容量を使いすぎて、ディスクがいっぱいになる

プロセスの Java GC ロギングが開始されると、同じ名前のファイルの内容が置き換えられるように見えます。これは、注意しないと、GC ロギングが必要になる可能性が高いときに、GC ロギングが失われることを意味します。

クラスターを十分長く実行し続けると、管理しない限り、ログ ファイルがディスクをいっぱいにします。GC ロギングが現在大量ではない場合でも、ロギング レートが急上昇する原因となる異常な状況が発生するリスクを管理したいと考えています。

Hadoop の初心者として、NameNode と Namespace の間で混乱しています。私の理解では、どちらも同じ機能を持ち、どちらにもメタデータが含まれています。

それらの間に違いはありますか？

コマンド「 bin/hadoop namenode -format 」を実行して namenode をフォーマットしているときに、次のエラーが発生します。

hduser@ubuntu:~/hadoop/bin$ ./hadoop namenode -format 非推奨: このスクリプトを使用して hdfs コマンドを実行することは非推奨です。代わりに hdfs コマンドを使用してください。

エラー : メイン クラス org.apache.hadoop.hdfs.server.namenode.NameNode が見つからないか、読み込めませんでした

Cloudera マネージャーを正常に開始しましたが、ファイルのリストを表示しようとすると、namenode に関連するエラーがスローされます。その後、namenodeが開始されているかどうかを確認しましたが、それは言う

接続できません Firefox は、quickstart.cloudera:50070 でサーバーへの接続を確立できません。サイトが一時的に利用できないか、混雑している可能性があります。しばらくしてからもう一度お試しください。どのページも読み込めない場合は、コンピュータのネットワーク接続を確認してください。コンピュータまたはネットワークがファイアウォールまたはプロキシによって保護されている場合は、Firefox が Web へのアクセスを許可されていることを確認してください。

どうすればこれを解決できますか?

私は 3 ノードの hdfs クラスターを使用しています。過去数か月間は正常に動作していましたが、数日後、namenode の 1 つで頻繁にログに例外が発生しています。これはアクティブ ノードでしたが、このエラーにより hdfs 自体がセカンダリ namenode にフェールオーバー、問題はありませんが、この問題を解決したいので、提案してください:-

Hadoop クラスターをセットアップしようとしています。しかし、ネームノードは起動していません。ログを確認すると、次のように表示されます。

2016-10-19 05:23:10,140 致命的な org.apache.hadoop.hdfs.server.namenode.

NameNode: namenode の起動に失敗しました。java.lang.IllegalArgumentException: org.apache.hadoop.hdfs.server.namenode.NameNode の java.net.URI.create(URI.java:859) で、インデックス 0: 192.168.100.101:9001 のスキーム名に無効な文字があります。 setClientNamenodeAddress(NameNode.java:352) at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:755) at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java: 748) org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441) で org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1507) で

原因: java.net.URISyntaxException: インデックス 0 のスキーム名に不正な文字: 192.168.100.101:9001 at java.net.URI$Parser.fail(URI.java:2829) at java.net.URI$Parser.checkChars (URI.java:3002) で java.net.URI$Parser.checkChar(URI.java:3012) で java.net.URI$Parser.parse(URI.java:3028) で java.net.URI.(URI .java:595) at java.net.URI.create(URI.java:857) ... 5 more 2016-10-19 05:23:10,144 INFO org.apache.hadoop.util.ExitUtil: ステータス 1 で終了2016-10-19 05:23:10,150 INFO org.apache.hadoop.hdfs.server.namenode.NameNode:

SHUTDOWN_MSG:

/**************************************************** ************

SHUTDOWN_MSG: namenode1/192.168.100.101 で NameNode をシャットダウンしています

core-site.xml ファイルを確認しましたが、エラーは見つかりませんでした。

また、一時フォルダーを削除し、namenode をフォーマットして、もう一度開始しようとしました。

私は、Apache Ambari を使用してインストールされた IBM Hadoop ディストリビューション (BigInsights) に取り組んでおり、現在、HDFS の透過レイヤーとして GPFS (一般的な並列ファイル システム) が有効になっています。Ambari では、HDFS でメンテナンス モードを有効にしており、Ambari コンソールから core/hdfs-site.xml に変更を加えることはできません。したがって、core/hdfs-site.xml に変更を加えたい場合は、CLI を使用してサーバー側から変更する必要があります。次に、GPFS 環境で namenode/datanode を再起動する方法を教えてください。新しいパラメータを有効にするためにコネクタを再起動したり、namenode を再起動したりする必要がありますか? コネクタが機能する場合、コマンド「mmhadoopctl」がありますが、そうでない場合、構成ファイル内に配置された新しいパラメーターを有効にするために使用する必要があるコマンドは何ですか。