問題タブ [cloudera-quickstart-vm]

Cloudera Quickstart VM 5.3.0 (Windows 7 の Virtual Box 4.3 で実行) を使用しており、Spark (YARN 上) を学習したいと考えていました。

Cloudera Manager を起動しました。サイドバーにすべてのサービスが表示されます。Spark がありますが、スタンドアロン モードです。「新しいサービスを追加」をクリックし、「Spark」を選択します。次に、このサービスの依存関係のセットを選択する必要があります。HDFS/YARN/zookeeper を選択する必要はありません。次のステップでは、ヒストリー サーバーとゲートウェイを選択する必要があります。VM をローカル モードで実行するので、localhost のみを選択できます。

「続行」をクリックすると、このエラーが発生します (+ 69 トレース):

サーバーエラーが発生しました。次の情報を Cloudera に送信します。

パス: http://localhost:7180/cmf/clusters/1/add-service/reviewConfig

バージョン: Cloudera Express 5.3.0 (20141216-1458 git: e9aae1d1d1ce2982d812b22bd1c29ff7af355226 で jenkins によってビルドされた #155)

org.springframework.web.bind.MissingServletRequestParameterException: org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter$ServletHandlerMethodInvoker raiseMissingParameterException() の AnnotationMethodHandlerAdapter.java 行 738 に必要な長いパラメータ 'serviceId' が存在しません

インターネット接続が必要かどうかはわかりませんが、VM でインターネットに接続できないことは正確です。（編集：インターネット接続でも同じエラーが発生します）

このサービスを追加する方法がわかりません。ゲートウェイの有無にかかわらず、多くのネットワーク オプションを試しましたが、うまくいきませんでした。既知の問題を確認しました。なし...

このエラーを解決する方法、または回避する方法を誰かが知っていますか? 助けてくれてありがとう。

VM で cloudera cdh5.3 クイックスタートを実行しています。Spark の実行に問題があります。これらの手順を実行しましたhttp://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_spark_configure .... そして単語 exapmle を実行すると、うまくいきました。しかし、マスター (quickstart.cloudera:18080) に行くと、コア = 0、メモリ = 0 のワーカーがありません... (quickstart.cloudera:18081) に行くと、ワーカーがあります。私の質問は、ワーカーを追加する方法ですか? また、エクスポート STANDALONE_SPARK_MASTER_HOST には何を入力すればよいですか?

これは spark-env.sh です:

ありがとうございました

システム: Cloudera Quickstart VM 5.4 上の Spark 1.3.0 (Anaconda Python dist.)

Spark DataFrame は次のとおりです。

data.show()

ただし、これらはどちらも機能しません。

次のメッセージが表示されます。

他の誰かがこの問題を経験しましたか? 回避策は何ですか? Pyspark は、「な」という列を探しているようです。どんな助けでも大歓迎です！

最近、http: //www.cloudera.com で「QuickStart VM」をダウンロードしました (正確には、virtualbox のバージョンです)。この仮想マシンは centOS を使用します (私のコンピューターは macbook air です)。この仮想マシンを完全に起動できません (および理由はわかりません）起動の最も進んだ状態のスクリーンショットを添付しました

Spark を練習するための最良の方法を誰か教えてもらえますか? それらの大部分が Cloudera VM のインストールを指しているのを確認できました。私のシステムには6GBのRAMしかないので、それに取り組むのはかなり難しいと思います. プロセスはかなり遅く、私には面倒です。Cloudera Manger が起動しないのは、8 GB の RAM が必要だからだと思います。現在、Windows OS に 3 GB、VM に 3 GB を割り当てています。プロセスをスピードアップする方法はありますか? または、Ubuntu に CDH をインストールしてから spark を使用できますか? (私のマシンには Ubuntu がインストールされているため、Linux に 6GB を完全に割り当てることができます)。それとも、8/16GB RAM を搭載した新しいマシンを購入する必要がありますか?

プロセッサ: i5 560M RAM: 6GB (5.6 使用可能) VM: VMPlayer (VMware)

誰でも良い構成を教えてもらえますか?

CDH 5.3.x 用の QuickStart VMを使用しています

この春の Hadoop サンプルを hbaseに実装しようとしています

ホスト コンピューターからのサンプルは、VM 内の Hbase に接続して、テーブルの作成、データの追加、データの読み取りを行います。

私のポンで私は使用します

私の hbase.propertise ファイル:

私のapplication-context.xml：

サンプルを実行すると、次の例外が発生しました。

誰かがこの例外を解決するのを手伝ってくれますか?

私は Oozie で SparkAction ジョブの例をいくつか見つけましたが、それらのほとんどは Java です。Cloudera CDH Quickstart 5.4.0 (Spark バージョン 1.4.0 を使用) でサンプルを少し編集して実行します。

ワークフロー.xml

ジョブのプロパティ

Oozie ワークフローの例 (Java) は、タスクを完了して実行することができました。

spark-submitただし、Python / PySpark を使用してジョブを作成しました。<class>私は瓶のためにとを削除しようとしました

しかし、Oozie-Spark ジョブを実行しようとすると、ログにエラーが表示されます。

Python / PySpark を使用している場合<class>、タグには何を配置すればよいのでしょうか?<jar>

この問題は、以前の質問hereの続きであり、解決されたように見えますが、別の問題として here につながります。

Cloudera QuickstartVM CHD-5.4.0 で Spark 1.4.0 を使用しています。PySpark スクリプトを Oozie で SparkAction として実行すると、Oozie ジョブ/コンテナー ログで次のエラーが発生します。

それから、私はまだ試しましたが、実際にはSpark 1.3.0用のこのソリューションとこれに出くわしました。ドキュメントによると、この問題は Spark バージョン 1.3.2 および 1.4.0 で既に修正されているようです (ただし、ここで同じ問題が発生しています)。

リンクで提案された解決策は、実際を指していないパスであっても(つまり、これらを実際の SPARK_HOME に設定しましたが) spark.yarn.appMasterEnv.SPARK_HOME、何にでも設定する必要があるというものでした。spark.executorEnv.SPARK_HOMESPARK_HOME/bogus

後の私のワークフローは次のとおりです。

上記の元の問題を解決するようです。ただし、Oozie コンテナー ログの stderr を検査しようとすると、別のエラーが発生します。

私がPythonを使用している場合、main class権利を期待すべきではありませんか? 以前の関連記事で、Java で記述された SparkAction を備えた Cloudera QuickstartVM CDH-5.4.0 に同梱されている Oozie ジョブ サンプルが私のテストで動作していたことに注意してください。問題は Python だけにあるようです。

助けてくれる人に感謝します。

Cloudera Quickstart VM のさまざまなユーザー アカウント (yarn、hdfs ユーザーなど) のパスワードはどこで確認できますか?

バージョン 5.4.0 を使用しています。