問題タブ [cloudera-quickstart-vm]

Slider Memcached チュートリアルを実行したところ、memcached コンテナーを正常にパッケージ化/デプロイ/開始できました。ただし、基本的にJava jarと依存関係を含むカスタムアプリケーションをパッケージ化すると、コンテナが正常に起動しません。

アプリケーション ページは、アプリケーションが次の診断で FINISHED/FAILED 状態であることを示しています: http://quickstart.cloudera:8088/cluster/app/application_1439926335194_0001

診断: 不安定なアプリケーション インスタンス: - コンポーネント MYAPP で失敗 「最近」6 回 (起動時に 4 回) 失敗しました。しきい値は 5 - 最後の失敗: ホスト quickstart.cloudera (0) の失敗 container_1439926335194_0001_01_000008: http://quickstart.cloudera:19888/jobhistory/logs//quickstart.cloudera:8041/container_1439926335194_0001_01_000008/ctx/MYUSER

コンテナーの問題を診断する際の課題の 1 つは、アプリケーションの完了後にログが消えることです。 http://quickstart.cloudera:8042/node/containerlogs/container_1439926335194_0001_01_000001/MYUSER

アプリケーションの完了後もログを保持できることを示す、スライダーのトラブルシューティング ページがあります: http://slider.incubator.apache.org/docs/troubleshooting.html

デバッグを改善するための YARN の構成

そして、この設定を Yarn - Configuration - NodeManager Base Group - Advanced - Localized Dir Delection Delay で見つけ、デフォルトの 0 から 1200 に変更しました。ただし、クライアント構成をデプロイし、Nodemanager + Yarn を再起動した後でも、VM を再起動しても、コンテナーの完了時にログが削除されたままです。

CDH 5.3.0 Vitrualbox VM イメージに取り組んでいます。パッケージを起動すると、クラスターとサービスが正常に動作しているように見えます。

編集：

私が見るログの唯一のエラーはこれです：

ロール インスタンス RoleInstance が失敗しました

2015-08-19 10:59:21,819 [AMRM Callback Handler Thread] ERROR appmaster.SliderAppMaster - Role instance RoleInstance{role='SIMHASH', id='container_1439926335194_0002_01_000003', container=ContainerID=container_1439926335194_0002_01_000003 nodeID=quickstart.cloudera:8041 http =quickstart.cloudera:8042 priority=1073741825 resource=, createTime=1440007115649, startTime=1440007115674, release=false, roleId=1, host=quickstart.cloudera, hostURL= http://quickstart.cloudera:8042、状態 = 5、配置 = null、exitCode = 0、コマンド = 'python ./infra/agent/slider-agent/agent/main.py --label container_1439926335194_0002_01_000003___SIMHASH --zk-quorum localhost:2181 --zk-reg-パス /registry/users/c4/services/org-apache-slider/simhash1 > /slider-agent.out 2>&1 ; ', diagnostics='', output=null, environment=[LANGUAGE="en_US.UTF-8", AGENT_WORK_ROOT="$PWD", HADOOP_USER_NAME="C4", AGENT_LOG_ROOT="", PYTHONPATH="./infra/agent /slider-agent/"、LC_ALL="en_US.UTF-8"、SLIDER_PASSPHRASE="8R9ZPw3aZ20GFydi3OqvEtwYhh1qzfQBmWv6BjXepg3PCcyS8m"、LANG="en_US.UTF-8"]} 失敗

最近 Cloudera CDH 5.3 をダウンロードしましたが、HUE Web UI ポータルにアクセスする必要があります。Cloudera admin/admin に属するデフォルトのユーザー名とパスワードを指定すると、機能しません。現在、HUE ポータルにログインできません。誰でも助けてもらえますか？

Cloudera VM (cdh-5.4.2) でチュートリアルに従おうとしましたが、ビルドされた jar を実行してピクセル数をカウントしようとすると例外が発生します。

ビルド自体は成功します:

しかし、jar を実行すると、次のエラーがスローされます。

同じルート hipi 親プロジェクトのサンプル フォルダー内のこのサブプロジェクトの私の build.gradle は次のとおりです。

誰かが私が欠けているものとそれを実行する方法を手伝ってくれますか?

私はgradleが初めてなので、他のプロジェクトで使用するためにeclipseでhipiを構成できなかったため、ターミナルのみで実行しようとしています。誰もそれで私を助けることができますか？

注：インターネットアクセスが制限されているため、システムにダウンロード許可がほとんどありません。

私は HIPI/Hadoop の初心者なので、cloudera クイックスタート VM (5.4.2) を選択します。私はそれを行うための入門チュートリアルに従っています。実行中に、以下に示すように、hib ファイルにファイルがあることがわかりました。

しかし、jar ファイルで実行しようとすると、次のエラーが発生します。

リソース マネージャーの下のログ ファイルには、次のように記載されています。

助けて。エラーを見つけることができません。

Java 1.8、Hadoop 2.6.0-cdh5.4.2 を使用しています。

HADOOP_CLASSPATH : /usr/lib/hadoop/lib HADOOP_YARN_HOME : /usr/lib/hadoop-yarn HADOOP_MAPRED_HOME: /usr/lib/hadoop-mapreduce HADOOP_CONF_DIR : /etc/hadoop/conf

wordcount の例でテストしましたが、成功しました。

私は Cloudera と Hadoop にあまりにも慣れていません。Cloudera Quickstart VM ターミナルで次のコマンドを実行中に問題が発生しました

これらは、上記のコマンドを実行したときに得られる行です

1 時間ごとにワークフローを実行する Oozie コーディネーターがいます。ワークフローは、シェル アクションと Java アクションの 2 つの連続するアクションで構成されます。コーディネーターを実行すると、シェル アクションは正常に実行されているように見えますが、Java アクションの時間になると、Hue の Job Browser には常に次のように表示されます。

application_id をクリックすると、次のスナップショットが表示されます。

これは、views.py と api.py を指しているようです。サーバーログを調べたとき：

Java アクションは、REST API 呼び出しと、解析結果の HDFS への書き込み (Hadoop クライアント ライブラリ経由) の 2 つの部分で構成されます。Job Browser で Java アクション ジョブが期限切れ/失敗しているにもかかわらず、HDFS への書き込みは成功しました。Java コードの HDFS 書き込み部分のスニペットを次に示します。

ワークフローをスタンドアロンとして実行すると、50-50 の確率で成功し、Java アクション部分が期限切れになりますが、コーディネーターでは、すべての Java アクションが期限切れになります。

YARN ログには次のように表示されます。

そのため、Java コードの最後で FileSystem を閉じることに問題があるようです (FileSystem を開いたままにしておく必要がありますか?)。

Cloudera Quickstart CDH 5.4.0 と Oozie 4.1.0 を使用しています