0

Cloudera Director と Cloudera Manager を EC2 に正常にデプロイしました。ブラウザからディレクターとマネージャーの両方のインスタンスにアクセスでき、それらのインスタンスに対して ssh を実行できます。Cloudera Manager サーバーとエージェントは正常に動作しており、次のコマンドを実行して確認しました。

次のステップは、クラスターをデプロイしたいということです。しかし、それは失敗し、私は取得してBootstrap failed errorいます。director の application.log ファイルを確認したところ、次のような例外が見つかりました - 原因:

java.net.ConnectException: ConnectException invoking http://:7180/api/v6/commands/158: 接続が拒否されました (接続が拒否されました)

サービスの状態を確認したところ、クラスターのデプロイ中に、何らかの理由で cloudera-scm-manager サービス (cloudera-scm-server) が停止していることがわかりました。ただし、クラスターをデプロイする前に、cloudera-scm-server サービスが稼働していることを確認しました。

クラスターを何度もデプロイし、t2 small と m4 large インスタンス タイプの両方を使用してみました。同じ例外が発生しています。

エラーが発生した後、cloudera-scm-service を再起動すると、起動し、正常に動作します。しかし、クラスターの展開中に自動的に停止し、クラスターの展開に失敗すると思います。方法と理由がわからない？

何が問題になる可能性がありますか？誰かがこの問題を解決するためのポインタ/ヘルプを提供できますか?

次のように展開に使用されるバージョンの詳細 -

  • Cloudera ディレクターのバージョン - 2.4.1
  • Cloudera マネージャーのバージョン - 5.11.1
  • EC2 インスタンス - t2 small と m4 large インスタンス タイプの両方で試しました。
  • EC2 インスタンス OS - RHEL 6.7、64 ビット
  • クラスター構成が選択されました - 1 つのマスター、1 つのワーカー、1 つのゲートウェイ
  • 選択されたクラスター サービス - YARN 上の Spark を使用する Core Hadoop (これには、次のサービスが含まれます - HDFS、Hive、Hue、Oozie、YARN 上の Spark、YARN、ZooKeeper)

この問題を解決するためのヘルプ/入力/ポインターは大歓迎です。

よろしくお願いします。

-ピック

4

1 に答える 1

2

ピック

あなたの症状に基づく私の最初の推測は、CM インスタンスが小さすぎるということです。Linux には、OS を実行するのに十分なメモリがない場合に任意のプロセスを終了させる OOM Killer があります。これがおそらく、cloudera-scm-service が実行中であると表示されない理由です。/var/log/messages を調べて、OOM キラーに関係する「決定的な証拠」を見つけることができると思います。

インスタンス タイプの推奨事項については、AWS 展開の Cloudera Enterprise Reference Architecture を参照してください。 http://www.cloudera.com/documentation/other/reference-architecture/PDF/cloudera_ref_arch_aws.pdf

幸運を！デビッド

于 2017-07-05T13:21:59.340 に答える