13

HDFS からファイルを読み取るコードをデプロイしようとしている場所に、Apache Spark 0.9.0 クラスターがインストールされています。このコードは警告をスローし、最終的にジョブは失敗します。ここにコードがあります

/**
 * running the code would fail 
 * with a warning 
 * Initial job has not accepted any resources; check your cluster UI to ensure that 
 * workers are registered and have sufficient memory
 */

object Main extends App {
    val sconf = new SparkConf()
    .setMaster("spark://labscs1:7077")
    .setAppName("spark scala")
    val sctx = new SparkContext(sconf)
    sctx.parallelize(1 to 100).count
}

以下は警告メッセージです

初期ジョブはリソースを受け入れていません。クラスター UI をチェックして、ワーカーが登録され、十分なメモリがあることを確認します

これを取り除く方法、またはいくつかの設定がありません。

4

7 に答える 7

0

同様の問題がありました初期ジョブはリソースを受け入れませんでした。spark-env.shでsparkの正しいダウンロードURLを指定するか、すべてのスレーブにsparkをインストールすることで修正しました。

export SPARK_EXECUTOR_URI=http://mirror.fibergrid.in/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz

初期ジョブはリソースを受け入れていません。クラスター UI をチェックして、ワーカーが登録され、十分なメモリがあることを確認します

于 2016-05-24T08:15:43.187 に答える