問題タブ [ambari]

このタイトルで述べたように、Hadoop クラスターをインストールするステップをスキップして、そのクラスターが既に存在し、どのクラスターが稼働中かをスキップできますか?

Ambari サーバーを正常にインストールしましたが、そのサーバーを起動しようとすると、

これを解決するために私を助けてください。

ありがとうございました。

Ambari 1.7 を介してインストールを実行しており、Zookeeper のインストールに関して明確にしたいと考えています。セットアップには、(3) Zookeeper と (3) Kafka インスタンスが含まれます。Ambari UI は、Zookeeper マスターと Zookeeper クライアント/スレーブを指定するよう求めます。3 つの Zookeeper ノードすべてをマスターとして選択し、各 Kafka サーバーに Zookeeper クライアントをインストールする必要がありますか?

Zookeeper にはマスター ノードがありません。ここでは、この Ambari マスター/スレーブの用語について少し混乱しています。

こんにちは、大きなテーブルでフェニックス カウント クエリを実行しているときに、以下のエラー メッセージが表示されます。

助けてください。

ambari 1.7私は1 つの奇妙な問題に直面しています。最初はデータノードが開始されますが、数秒以内に自動的に停止します。データノードを再起動しようとすると起動しません。この問題を解決するのを手伝ってください。
次のようにデータノードを再起動するためのログ

Hadoop クラスターを再起動した後、同様の問題が発生します。/var/log/hadoop/hdfs/hadoop-hdfs-datanode-master.hadoopcluster.out からのログ ファイルは次のとおりです。

Ambari サーバーに問題があり、Namenode を開始できません。HDP 2.0.6、Ambari 1.4.1 を使用しています。Kerberos セキュリティを有効にすると、これが発生することに言及する価値があります。つまり、無効にするとエラーは発生しません。

エラーは次のとおりです。

2015-02-04 16:01:48,680 ERROR namenode.EditLogInputStream (EditLogFileInputStream.java:nextOpImpl(173)) - caught exception initializing http://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=integration&segmentTxId=1&storageInfo=-47%3A1493795199%3A0%3ACID-a5152e6c-64ab-4978-9f1c-e4613a09454d org.apache.hadoop.hdfs.server.namenode.TransferFsImage$HttpGetFailedException: Fetch of http://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=integration&segmentTxId=1&storageInfo=-47%3A1493795199%3A0%3ACID-a5152e6c-64ab-4978-9f1c-e4613a09454d failed with status code 500 Response message: getedit failed. java.lang.IllegalArgumentException: Does not contain a valid host:port authority: null at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:211) at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:163) at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:152) at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.getHttpAddress(SecondaryNameNode.java:210) at org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet.isValidRequestor(GetJournalEditServlet.java:93) at org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet.checkRequestorOrSendError(GetJournalEditServlet.java:128) at org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet.doGet(GetJournalEditServlet.java:174) at ...

問題は、実際には null に設定されているセカンダリ Namenode http アドレスを取得することですhdfs-site-xml(理由はわかりません)。

そのパラメーターの値を適切な値に設定しようとしましたが、何も機能しません:

• hdfs-site.xmlファイルを手動で編集して実行hdfs namenodeしても、何も起こりません。
• ファイルを手動で編集し、hdfs-site.xmlAmbari から HDFS 全体を開始しますが、何も起こりません。さらに、dfs.namenode.secondary.http-addressパラメーターは再び null に設定されます!
• Ambari UI > HDFS サービス > 構成タブ >hdfs-site.xmlリスト > 新しいプロパティの追加... 問題はdfs.namenode.secondary.http-address、UI によってリストされていないということです。:)
• /usr/lib/ambari-server/web/data/configuration/hdfs-site.json に値を追加しようとしましたが、これは Ambari が UI に表示される値を格納する場所である可能性があると考えましたが、成功。

また、HDFS サービスが Amabri UI から再起動されるたびにsite-XXXX.ppファイルが作成されることにも注意しました。これらのファイルのそれぞれに次のものが含まれていることがわかりました。/var/lib/ambari-agent/data/

このプロパティを構成するための他の候補ファイルは/var/lib/ambari-agent/puppet/modules/hdp-hadoop/manifests/params.pp. セクションがありますが、プロパティ### hdfs-siteに関連付けられている puppet 変数の名前がどれかわかりません。dfs.namenode.secondary.http-address

何か案は？ありがとう！

このツアーhttp://hortonworks.com/hadoop-tutorial/using-apache-spark-hdp/に従ってHDP 2.2 に Spark をインストールします。

しかし、それは dfs が私の接続を拒否したことを教えてくれます! 私が命令すること：

ログは次のとおりです。

誰かがこれを言っています ( http://tiku.io/questions/4795653/unable-to-run-spark-1-0-sparkpi-on-hdp-2-0 )が、理解できません。

私の環境は

Ambari 1.7.0 を使用して 6 ノードの HDP 2.2 クラスターをセットアップしようとしています。('export PYTHON=/usr/bin/python2.6' を ambari-agent/ambari-enh に追加することにより) ハッキングして、エージェント ノードで実行されている ambari-agent デーモンを取得した後、ターゲット ホストを登録できました。

しかし、「展開」ステップで恐ろしい問題に遭遇しました。HDP 2.2 スタックを選択しましたが、HDP 2.0.6 がまだ選択されているようです。

また、ambari-agent.log には以下が含まれます。

質問: HDP 2.2 を選択したにもかかわらず、HDP 2.0.6 がインストールされるのはなぜですか?

私の環境情報: CentOS 6.6、HortonWorks Ambari 1.7.0、HDP-2.2、HDP-UTILS-1.1

リポジトリ: HDP-2.2 HDP-UTILS-1.1.0.20 Updates-ambari-1.7.0 ambari-1.x