問題タブ [cloudera-manager]

Hadoop の cloudera ディストリビューションを使用していますが、最近、クラスター内のいくつかのノードの IP アドレスを変更する必要がありました。変更後、ノードの 1 つ (古い IP: 10.88.76.223、新しい IP: 10.88.69.31) でデータ ノード サービスを開始しようとすると、次のエラーが表示されます。

Hadoop データ ノードの IP アドレスを変更して、データを失うことなくクラスタに戻すことに成功した人はいますか?

本番環境の Cloudera Manager (4.7) ノードが故障したため、そのノードに新しい OS をインストールしました。(埋め込まれた) postgresql db のバックアップから Cloudera Manager を回復しようとしています。復元された DB を使用して、CM が既存の構成で既存のクラスターを管理できることを願っています。

私たちはいくつかの POC を行っており、以下に概説する手順で Cloudera Manager を新しいサーバーに移植しようとしています。(最終的には同じノードに CM をインストールします)

1. cloudera-server-daemons をインストールする cloudera-server
2. cloudera-server-db をインストールします
3. sudo service cloudera-server-db start => これにより、基本的なロールが作成されます。パスワードなどを再生成します。
4. そのため、pg_dumpall foo.sql から、ロールとパスワード、およびデータベースを作成した最初のステートメントを削除しました。 pql -U cloudera-scm -h localhost -p 7432 -f foo.sql postgres.これは正常に完了しました。
5. クラスター内の各ノードで、/etc/cloudera-scm-agent/config.ini を変更して、新しいノードを指すようにします。
6. sudo サービス cloudera-server start . => CM が構成を取得してロードすることを期待していました。ただし、インストーラーページが表示されます
7. 無料版をインストールします。ips を検索するか、使用可能なホストが表示されます。
8. 次に、クラスター内の各ノードで cdh パッケージを更新し、サービスのインストールを要求します。
9. この後のプロセスは少し不明確です。ただし、ロールを適切なノードに割り当てることはできました。フォーマットされていない同じルートディレクトリを使用するHDFSで、すべて問題ないようです。ただし、構成がすべて欠落しています。これは、CM が復元された DB を読み取らなかったことを示唆しているようです。

上記の手順は、cloudera マネージャーの状態を復元する正しい方法ではないようです。このリファレンスには、これを行うためのシームレスな方法がリストされている可能性があります。リンクに記載されている手順に従っても、復元された DB を CM に読み取らせることはできません。誰かが正しい手順を教えてください。どんな助けでも感謝します。

Cloudera マネージャー API (cm_api) を使用して、Hadoop クラスターの展開作業の一部を自動化しようとしています。これまでのところ、このhttps://github.com/cloudera/cm_api/tree/master/python/src/cm_api/endpointsを使用して、新しいホストをclouderaマネージャーに追加し、クラスターに追加してテンプレートを適用することができます

現在、YARN サービスの各インスタンスの (yarn.nodemanager.local-dirs、yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores) のようなロール構成を更新する方法を探しています。各インスタンスが取得したディスク、CPU、およびメモリ。

Python で cm_api を使用してこれを行う方法を知っている人はいますか?

ありがとう