問題タブ [cloudera-manager]

本番環境の Cloudera Manager (4.7) ノードが故障したため、そのノードに新しい OS をインストールしました。(埋め込まれた) postgresql db のバックアップから Cloudera Manager を回復しようとしています。復元された DB を使用して、CM が既存の構成で既存のクラスターを管理できることを願っています。

私たちはいくつかの POC を行っており、以下に概説する手順で Cloudera Manager を新しいサーバーに移植しようとしています。(最終的には同じノードに CM をインストールします)

1. cloudera-server-daemons をインストールする cloudera-server
2. cloudera-server-db をインストールします
3. sudo service cloudera-server-db start => これにより、基本的なロールが作成されます。パスワードなどを再生成します。
4. そのため、pg_dumpall foo.sql から、ロールとパスワード、およびデータベースを作成した最初のステートメントを削除しました。 pql -U cloudera-scm -h localhost -p 7432 -f foo.sql postgres.これは正常に完了しました。
5. クラスター内の各ノードで、/etc/cloudera-scm-agent/config.ini を変更して、新しいノードを指すようにします。
6. sudo サービス cloudera-server start . => CM が構成を取得してロードすることを期待していました。ただし、インストーラーページが表示されます
7. 無料版をインストールします。ips を検索するか、使用可能なホストが表示されます。
8. 次に、クラスター内の各ノードで cdh パッケージを更新し、サービスのインストールを要求します。
9. この後のプロセスは少し不明確です。ただし、ロールを適切なノードに割り当てることはできました。フォーマットされていない同じルートディレクトリを使用するHDFSで、すべて問題ないようです。ただし、構成がすべて欠落しています。これは、CM が復元された DB を読み取らなかったことを示唆しているようです。

上記の手順は、cloudera マネージャーの状態を復元する正しい方法ではないようです。このリファレンスには、これを行うためのシームレスな方法がリストされている可能性があります。リンクに記載されている手順に従っても、復元された DB を CM に読み取らせることはできません。誰かが正しい手順を教えてください。どんな助けでも感謝します。

Cloudera マネージャー API (cm_api) を使用して、Hadoop クラスターの展開作業の一部を自動化しようとしています。これまでのところ、このhttps://github.com/cloudera/cm_api/tree/master/python/src/cm_api/endpointsを使用して、新しいホストをclouderaマネージャーに追加し、クラスターに追加してテンプレートを適用することができます

現在、YARN サービスの各インスタンスの (yarn.nodemanager.local-dirs、yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores) のようなロール構成を更新する方法を探しています。各インスタンスが取得したディスク、CPU、およびメモリ。

Python で cm_api を使用してこれを行う方法を知っている人はいますか?

ありがとう

CREATE TABLE foobar AS SELECT ...Hue で正常に実行されるクエリがあり (返されるステータスは ですInserted 986571 row(s))、完了するまでに数秒かかります。ただし、Cloudera Manager では、10 分以上経過した後もステータスがExecuting.

Cloudera Manager のバグですか、それともこのクエリは実際にまだ実行されていますか?

Cloudera Quickstart VM 5.3.0 (Windows 7 の Virtual Box 4.3 で実行) を使用しており、Spark (YARN 上) を学習したいと考えていました。

Cloudera Manager を起動しました。サイドバーにすべてのサービスが表示されます。Spark がありますが、スタンドアロン モードです。「新しいサービスを追加」をクリックし、「Spark」を選択します。次に、このサービスの依存関係のセットを選択する必要があります。HDFS/YARN/zookeeper を選択する必要はありません。次のステップでは、ヒストリー サーバーとゲートウェイを選択する必要があります。VM をローカル モードで実行するので、localhost のみを選択できます。

「続行」をクリックすると、このエラーが発生します (+ 69 トレース):

サーバーエラーが発生しました。次の情報を Cloudera に送信します。

パス: http://localhost:7180/cmf/clusters/1/add-service/reviewConfig

バージョン: Cloudera Express 5.3.0 (20141216-1458 git: e9aae1d1d1ce2982d812b22bd1c29ff7af355226 で jenkins によってビルドされた #155)

org.springframework.web.bind.MissingServletRequestParameterException: org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter$ServletHandlerMethodInvoker raiseMissingParameterException() の AnnotationMethodHandlerAdapter.java 行 738 に必要な長いパラメータ 'serviceId' が存在しません

インターネット接続が必要かどうかはわかりませんが、VM でインターネットに接続できないことは正確です。（編集：インターネット接続でも同じエラーが発生します）

このサービスを追加する方法がわかりません。ゲートウェイの有無にかかわらず、多くのネットワーク オプションを試しましたが、うまくいきませんでした。既知の問題を確認しました。なし...

このエラーを解決する方法、または回避する方法を誰かが知っていますか? 助けてくれてありがとう。

私は Hadoop の世界に不慣れで、最終データに問題があります。

私の目的は、Flume を使用して Facebook ページ (私は restfb API を使用しています) からデータを抽出することです。その後、データは HDFS に送られ、HIVE が最終データを生成するために使用されます。これは 1 時間ごとに発生します。これらすべてが HUE で実現します。

理由はわかりませんが、ホールデーからデータを抽出することに成功することがあります。また、数時間分のデータしか抽出できない日もあります。

これは Flume からのデータです。

ご覧のとおり、03/21 には、その日の最初の 4 時間しか抽出できませんでした。03/22 で、穴の日を抽出できました。

いくつかの詳細情報。

私のFlume構成。Cloudera Manager から

誰でも私を助けることができますか？

アップデート

Oozie の私のコーディネーター

マスター ノードとワーカー ノードの構成で、Spark を CDH に追加しているときに次のエラーが発生します。このリンクの指示に従いました: https://docs.sigmoidanalytics.com/index.php/Installing_Spark_and_Setting_Up_Your_Cluster

SCALA_HOME を設定するには、次のエラーが表示されます。

1 つのマスターと 3 つのノードのクラスターで、cloudera マネージャーを使用して CDH5 をインストールしています。以下の段階に到達し、データの更新でハングアップします

詳細は、このコマンドを実行していることを示しています

ハングします。しかし、各ノードでコマンド BEGIN yum makecache を実行すると、うまく動作します。

マスターはエラーなしでこの段階を通過したため、ノードだけが現在インストールされていることがわかります。誰が何が間違っているかを判断するのを手伝ってくれますか? ノードの構成に何か問題がありますか?

Centos 6.6 で ClouderaManager を使用して CDH-5.3.2-1.cdh5.3.2.p0.10 を実行しています。私の HDFS サービスはクラスターで動作していました。しかし、Hadoop データのマウント ポイントを変更したかったのです。それでも成功しなかったので、すべての変更をロールバックするというアイデアを思いつきましたが、以前の構成では機能せず、落胆しています。クラスター内に 2 つのノードがあります。データ用の 1 つのノードが不良DataNodes Health Badです。ログにはいくつかのエラーがあります

私は多くの可能な解決策を試してきましたが、運がありません。

• フォーマットhadoop namenode -format
• クラスターの停止とrm -rf /dfs/*[および再フォーマット]
• /dfs/nn/current/VERSIONファイルへのいくつかの調整
• in_use.lockファイルを削除し、不足しているノードのみを開始する
• /tmp/hsperfdata_hdfs/ディレクトリをロックしている pid のような名前のファイルを削除します。

ディレクトリにファイルがあります

dn少し興味深いのはディレクトリがありません。

hdfs ユーザーとして実行する hdfs ファイルに対するすべての操作。ファイル/etc/hadoop/conf/hdfs-site.xmlには

カスタムサービスを構築しました。exec を呼び出す前に、いくつかの事前タスク (ドライバーのインストール、データベースおよびその他のデーモン サービスの開始など) を行っています。このサービスは正常に開始されました。
Cloudera Manager からの停止中に、exec で開始されたサービスとともに、事前タスクで開始されたサービスも停止したい.そのために、すべてのデーモン サービスを停止するスクリプトを作成しましたが、で開始されたサービスのみが見つかりましたexec はプレタスクでは停止しません。

問題の解決方法を教えてください。

私のservice.sdlは次のとおりです

私のcontrol.shは次のとおりです-

cloudera マネージャー UI でインストール済みコンポーネントのバージョンを確認する場所