問題タブ [cloudera-director]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

10 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
2 に答える
298 参照

hadoop - Cloudera Director を使用した新しいクラスターの作成

Cloudera Director を使用して新しいクラスターを作成しようとすると、次のエラーが発生します。何かアドバイス？

0 投票する
2 に答える
302 参照

hadoop - Cloudera Director サーバー AWS クイックスタート

Cloudera AWS クイックスタートに従っています

https://s3.amazonaws.com/quickstart-reference/cloudera/hadoop/latest/doc/Cloudera_EDH_on_AWS.pdf

私は、Cloudera Director サーバーを使用するオプション 2 を使用しています。指示に従って ./bin/cloudera-director-server を使用してサーバーを起動すると、「ポート 7189 で接続をリッスンしています」というメッセージが表示されます。プロンプトがないため、次のステップを実行する方法がわかりません。

./bin/cloudera-director ブートストラップ-リモート aws.simple.conf --ip.remote.hostAndPort= 127.0.0.1:7189 ip.remote.username=admin --ip.remote.password=admin

出力

[ec2-user@ip-xx-xx-xxx cloudera-director-server-1.1.0]$ ./bin/cloudera-director-server サーバー ログは、/home/ec2-user/cloudera/cloudera-director にあります。 -server-1.1.0/logs/application.log Cloudera Director Server 1.1.0 の初期化中 ... すべてのインターフェイスでポート 7189 で接続をリッスンしています

0 投票する
0 に答える
269 参照

amazon-s3 - S3 メタデータのインデックス作成とナビゲート

重要な数の S3 CSV ファイルを取得しています。S3 ファイルごとに、 csv 列を説明し、追加情報を提供する興味深いメタデータをfo.csv含むファイルがあります。fo.metadata.txt

すべてのcsvファイルのメタデータをナビゲートして情報をすばやく取得し、異なるCSV列間の関係を見つける最良の方法を探しています。

0 投票する
1 に答える
195 参照

cloudera - Director を使用した EC2 での Cloudera Cluster Deployment ブートストラップ失敗エラー

Cloudera Director と Cloudera Manager を EC2 に正常にデプロイしました。ブラウザからディレクターとマネージャーの両方のインスタンスにアクセスでき、それらのインスタンスに対して ssh を実行できます。Cloudera Manager サーバーとエージェントは正常に動作しており、次のコマンドを実行して確認しました。

次のステップは、クラスターをデプロイしたいということです。しかし、それは失敗し、私は取得してBootstrap failed errorいます。director の application.log ファイルを確認したところ、次のような例外が見つかりました - 原因:

java.net.ConnectException: ConnectException invoking http://:7180/api/v6/commands/158: 接続が拒否されました (接続が拒否されました)

サービスの状態を確認したところ、クラスターのデプロイ中に、何らかの理由で cloudera-scm-manager サービス (cloudera-scm-server) が停止していることがわかりました。ただし、クラスターをデプロイする前に、cloudera-scm-server サービスが稼働していることを確認しました。

クラスターを何度もデプロイし、t2 small と m4 large インスタンス タイプの両方を使用してみました。同じ例外が発生しています。

エラーが発生した後、cloudera-scm-service を再起動すると、起動し、正常に動作します。しかし、クラスターの展開中に自動的に停止し、クラスターの展開に失敗すると思います。方法と理由がわからない？

何が問題になる可能性がありますか？誰かがこの問題を解決するためのポインタ/ヘルプを提供できますか?

次のように展開に使用されるバージョンの詳細 -

  • Cloudera ディレクターのバージョン - 2.4.1
  • Cloudera マネージャーのバージョン - 5.11.1
  • EC2 インスタンス - t2 small と m4 large インスタンス タイプの両方で試しました。
  • EC2 インスタンス OS - RHEL 6.7、64 ビット
  • クラスター構成が選択されました - 1 つのマスター、1 つのワーカー、1 つのゲートウェイ
  • 選択されたクラスター サービス - YARN 上の Spark を使用する Core Hadoop (これには、次のサービスが含まれます - HDFS、Hive、Hue、Oozie、YARN 上の Spark、YARN、ZooKeeper)

この問題を解決するためのヘルプ/入力/ポインターは大歓迎です。

よろしくお願いします。

-ピック


12345678910