3

小さなクラスター (4 台のマシン) に Hortonworks Data Platform 2.2 を新規インストールしましたが、Ambari GUI にログインすると、ダッシュボードの統計ボックス (HDFS ディスク使用量、ネットワーク使用量、メモリ使用量など) の大部分にデータが取り込まれていません。代わりに、次のメッセージが表示されます。

No data There was no data available.  Possible reasons include inaccessible Ganglia service

HDFS サービス リンクをクリックすると、次の概要が表示されます。

NameNode    Started
SNameNode   Started
DataNodes   4/4 DataNodes Live
NameNode Uptime     Not Running
NameNode Heap   n/a / n/a (0.0% used)
DataNodes Status    4 live / 0 dead / 0 decommissioning
Disk Usage (DFS Used)   n/a / n/a (0%)
Disk Usage (Non DFS Used)   n/a / n/a (0%)
Disk Usage (Remaining)  n/a / n/a (0%)
Blocks (total)  n/a
Block Errors    n/a corrupt / n/a missing / n/a under replicated
Total Files + Directories   n/a
Upgrade Status  Upgrade not finalized
Safe Mode Status    n/a

画面の右側にある [アラートとヘルス チェック] ボックスには情報が表示されませんが、設定アイコンをクリックすると、Nagios フロントエンドが開き、ここでもすべてが正常に見えます!

インストールはスムーズに進み (CentOS 6.5)、すべてのサービスに関する限り、すべて問題ないように見えます (すべてサービス名の横にある緑色のチェックマークで始まります)。ダッシュボードにはいくつかの統計が表示されます。4/4 データノードがライブ、1/1 ノード管理がライブ、1/1 スーパーバイザーがライブです。ファイルを HDFS に書き込むことができるので、Ganglia の問題のように見えますか?

Ganglia デーモンは正​​常に動作しているようです。

ps -ef | grep gmond
nobody    1720     1  0 12:54 ?        00:00:44 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPHistoryServer/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPHistoryServer/gmond.pid
nobody    1753     1  0 12:54 ?        00:00:44 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPFlumeServer/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPFlumeServer/gmond.pid
nobody    1790     1  0 12:54 ?        00:00:48 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPHBaseMaster/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPHBaseMaster/gmond.pid
nobody    1821     1  1 12:54 ?        00:00:57 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPKafka/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPKafka/gmond.pid
nobody    1850     1  0 12:54 ?        00:00:44 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPSupervisor/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPSupervisor/gmond.pid
nobody    1879     1  0 12:54 ?        00:00:45 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPSlaves/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPSlaves/gmond.pid
nobody    1909     1  0 12:54 ?        00:00:48 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPResourceManager/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPResourceManager/gmond.pid
nobody    1938     1  0 12:54 ?        00:00:50 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPNameNode/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPNameNode/gmond.pid
nobody    1967     1  0 12:54 ?        00:00:47 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPNodeManager/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPNodeManager/gmond.pid
nobody    1996     1  0 12:54 ?        00:00:44 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPNimbus/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPNimbus/gmond.pid
nobody    2028     1  1 12:54 ?        00:00:58 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPDataNode/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPDataNode/gmond.pid
nobody    2057     1  0 12:54 ?        00:00:51 /usr/sbin/gmond --conf=/etc/ganglia/hdp/HDPHBaseRegionServer/gmond.core.conf --pid-file=/var/run/ganglia/hdp/HDPHBaseRegionServer/gmond.pid

各ノードで Ganglia サービスを確認しました。プロセスは期待どおりに実行されています。

ps -ef | grep gmetad
nobody    2807     1  2 12:55 ?        00:01:59 /usr/sbin/gmetad --conf=/etc/ganglia/hdp/gmetad.conf --pid-file=/var/run/ganglia/hdp/gmetad.pid

Ganglia サービスを再起動しようとしましたが、すべてのサービスを再起動しましたが、それでも同じでした。ダッシュボードを適切に機能させる方法を知っている人はいますか? ありがとうございました。

4

1 に答える 1

4

プロキシの問題であることが判明しました。インターネットにアクセスするには、プロキシの詳細をファイル /var/lib/ambari-server/ambari-env.sh に追加する必要がありました。

export AMBARI_JVM_ARGS=$AMBARI_JVM_ARGS' -Xms512m -Xmx2048m -Dhttp.proxyHost=theproxy -Dhttp.proxyPort=80 -Djava.security.auth.login.config=/etc/ambari-server/conf/krb5JAASLogin.conf -Djava.security.krb5.conf=/etc/krb5.conf -Djavax.security.auth.useSubjectCredsOnly=false'

ganglia がクラスター内の各ノードにアクセスしようとしたとき、リクエストはプロキシ経由で送信され、解決されませんでした。この問題を解決するために、ノードを除外リストに追加しました (フラグ -Dhttp.nonProxyHosts を追加)。

export AMBARI_JVM_ARGS=$AMBARI_JVM_ARGS' -Xms512m -Xmx2048m -Dhttp.proxyHost=theproxy -Dhttp.proxyPort=80 -Dhttp.nonProxyHosts="localhost|node1.dms|node2.dms|node3.dms|etc" -Djava.security.auth.login.config=/etc/ambari-server/conf/krb5JAASLogin.conf -Djava.security.krb5.conf=/etc/krb5.conf -Djavax.security.auth.useSubjectCredsOnly=false'

除外リストを追加した後、統計が期待どおりに取得されました!

于 2015-01-05T10:48:42.303 に答える