問題タブ [ambari]

ストーム トポロジが kafka から最初のメッセージを取得し、ワーカーが停止しているときに、エラーが発生します。

誰かがこの問題を解決するのを手伝ってくれますか?

そのため、3 つのノードの AWS EC2 インスタンスのクラスターに ambari をインストールしました。すべてのサービスが緑色で表示されます。つまり、すべて正常に動作しているように見えます。すべての HDFS ファイル操作を実行できます。ただし、インスタンスで単純な wordcount プログラムを実行しようとすると、ポート 8020 に到達できないと表示されます。

FQDN はhostname -f、クラスターの作成時に使用されたコマンドの出力です。

私もtelnetを試しましたが、接続も拒否されました。

どこを見たらいいのかわからない。

私は hortonworks 2.3 を実行しており、現在 ambari を介して REST API に接続して、flume サービスを開始/停止し、構成を送信しています。これはすべて正常に機能しています。私の問題は、メトリックを取得する方法です。以前は、パラメーターを指定してエージェントを実行し、メトリックを http ポートに生成してから、これを使用してそこから読み取っていました。

しかし、Ambari がエージェントを開始したため、私はこれを制御できなくなりました。任意の支援をいただければ幸いです:-)

私の namenode は、クラスターのインストール フェーズ中とインストール プロセス後の両方で起動しません。namenode が起動しないため、インストールは警告付きで終了しました。Ambari からのエラー メッセージは次のとおりです。

resource_management.core.exceptions.Fail: 'ambari-sudo.sh su hdfs -l -s /bin/bash -c'ulimit -c 無制限の実行; /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode'' が返されました 1. namenode の開始、/var/log/ へのログ記録hadoop/hdfs/hadoop-hdfs-namenode-hostname.out

/var/log/hadoop/hdfs/hadoop-hdfs-namenode-.out ファイルの内容は次のとおりです。

• ユーザー hdfs の ulimit -a
• コア ファイル サイズ (ブロック、-c) 無制限
• データ セグメント サイズ (キロバイト、-d) 無制限
• スケジューリング優先度 (-e) 0
• ファイルサイズ (ブロック、-f) 無制限
• 保留中のシグナル (-i) 1031397
• 最大ロック メモリ (キロバイト、-l) 64
• 最大メモリ サイズ (キロバイト、-m) 無制限
• ファイルを開く (-n) 32768
• パイプサイズ (512 バイト、-p) 8
• POSIX メッセージ キュー (バイト、-q) 819200
• リアルタイム優先度 (-r) 0
• スタックサイズ (キロバイト、-s) 10240
• CPU 時間 (秒、-t) 無制限
• 最大ユーザー プロセス (-u) 65536
• 仮想メモリ (キロバイト、-v) 無制限
• ファイルロック (-x) 無制限

クラスターをセットアップするために、HDP 2.2 を使用して Apache Ambari を調査してきました。私たちのバックエンドには、テスト、ステージング、および業界の標準的な運用の 3 つの環境があります。

Ambari を使用してテスト環境にクラスターをデプロイする場合、ステージング環境とその後の運用環境で同じクラスター構成にする最も簡単な方法は何ですか? 最初のステップは簡単に思えます。UI を使用してテスト環境でクラスターを作成し、構成をブループリントとしてエクスポートします。その後、エクスポートされたブループリントを使用して、他の環境で新しいクラスターを作成します。ここまでは順調ですね。

必然的に、Ambari の構成を変更する必要があります (たとえば、新しいサービスのデプロイ、JVM のヒープ サイズの増加など)。ブループリントを (UI を使用して、または手動で) 更新し、更新されたブループリントを使用して別のクラスターも更新できることを望んでいました。ただし、クラスターを破棄して再作成しない限り、これは不可能のようです。これは少し厳しいようです.. (データを失いたくない) ?

別の方法として、Ambari の REST API を使用して構成に特定の更新を行うこともできますが、最初のブループリントに関する構成の変更は間違いなく蓄積されるため、時間が経つにつれて扱いにくく、保守できないことが判明するでしょう。

このユースケースのより良い解決策を提案できますか?

Red Hat Linux Enterprise 6 に 1 つの NameNode と 4 つの DataNode を持つクラスターがあります。私の HDP バージョンは 2.1 です。Ambari のバージョンは 1.7 でしたが、2.1 にアップグレードしました。HDP をバージョン 2.2 にアップグレードしたいと考えています。HDP を 2.1 から 2.2 にアップグレードする場合は、Ambari を 2.1 にアップグレードする前に行う必要があることを読みました。hdp を 2.2 にアップグレードすると、ambari に変更が表示されず、すべてが機能しません。このチュートリアルを使用しています: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.0/HDP_Man_Upgrade_v22/index.html#Item1

どうすればいいですか？ambari を 1.7 にダウングレードしようとしましたが、多くのエラーが発生しました。hdp を 2.2 にアップグレードしてから、ambari を 2.1 から 2.1.1 にアップグレードするとどうなりますか。それはうまくいきますか？問題は、時間がほとんどないことです。前もって感謝します