を使用するように CDH クラスターを更新しましたspark 1.5.0。spark アプリケーションを送信すると、システムは警告を表示しますspark.app.id
Using default name DAGScheduler for source because spark.app.id is not set.
私はそれについて検索しましspark.app.idたが、文書化していません。このリンクを読んで、RestAPI呼び出しに使用されていると思います。
にこの警告が表示されませんspark 1.4。誰かが私にそれを説明し、それを設定する方法を示すことができますか?
これは必ずしも REST API に使用されるわけではなく、監視目的で使用されます。g 例ごとに糸のログを確認する場合:
yarn logs <spark.app.id>
この特定の問題がまだ文書化されていないことは事実です。Hadoop エコシステム内でのアプリケーションの展開を標準化するために追加されたと思います。
アプリに「spark.app.id」を設定することをお勧めします。
conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course
ただし、これはアプリケーション自体には影響しない警告のままです。