spark-1.5.1 スタンドアロン モードをインストールし、spark-submit コマンドを使用して結果を取得しました。実際には、spark hidden rest API を使用して結果を取得したいと考えています。spark-driver が停止すると、rest API を使用して結果を取得できません。
spark-submit を使用して掘り下げた後、出力を取得した後、すべての spark-context,driver が停止していることがわかりました。
誰でも助けてください
コンソールの結果は次のとおりです:-
結果 - a の行: 60、b の行: 29 15/11/01 08:46:08 INFO SparkContext: Invoking stop() from shutdown hook 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler が停止しました{ /metrics/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/stages/stage/kill,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler{/api を停止しました,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/static,null} 15/11/01 08 :46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/executors/threadDump/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/executors/threadDump,null} 15/11/01 08:46 :08 INFO ContextHandler: oejs を停止しましたServletContextHandler{/executors/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/executors,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/environment/json ,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/environment,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/storage/rdd/json,null} 15 /11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/storage/rdd,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/storage/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/storage,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/stages/pool/json,null} 15/11/01 08:46: 08 INFO ContextHandler:oejsServletContextHandler を停止しました{/stages/pool,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/stages/stage/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/stages/stage,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/stages/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler{/stages を停止しました, null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/jobs/job/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/jobs/job,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/jobs/json,null} 15/11/01 08:46:08 INFO ContextHandler: oejsServletContextHandler を停止しました{/jobs,null} 15/11/01 08 :46:08 INFO SparkUI:で Spark Web UI を停止しましたhttp://182.95.208.242:4040 15/11/01 08:46:08 情報 DAGScheduler: DAGScheduler を停止しています 15/11/01 08:46:08 情報 SparkDeploySchedulerBackend: すべての実行プログラムをシャットダウンしていますdown 15/11/01 08:46:09 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint が停止しました! 15/11/01 08:46:09 INFO MemoryStore: MemoryStore がクリアされました 15/11/01 08:46:09 INFO BlockManager: BlockManager が停止しました 15/11/01 08:46:09 INFO BlockManagerMaster: BlockManagerMaster が停止しました 15/11/01 08:46:09 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator が停止しました! 15/11/01 08:46:09 INFO SparkContext: SparkContext が正常に停止しました 15/11/01 08:46:09 INFO ShutdownHookManager: シャットダウン フックが呼び出されました 15/11/01 08:46:09 INFO ShutdownHookManager: ディレクトリ /tmp/spark-a2d4622c-d3c0-447b-aa73-21a3b6af1539 15/11/01 08:46:09 INFO RemoteActorRefProvider$RemotingTerminator を削除しています: リモート デーモンをシャットダウンしています。15/11/01 08:46:09 INFO RemoteActorRefProvider$RemotingTerminator: リモート デーモンがシャットダウンしました。リモートトランスポートのフラッシュを続行します。ipieawb1@master:~/spark-1.5.1/bin$
私は単純なコードを実行しようとしています。
public class SimpleApp { public static void main(String[] args) throws InterruptedException {
SparkConf conf = new SparkConf().setAppName("Simple Application").
setMaster("spark://master.genpact.com:7078").set("spark.eventLog.enabled", "true");
File tempDir=Files.createTempDir();
tempDir.deleteOnExit();
JavaSparkContext sc = new JavaSparkContext(conf);
java.util.List<String> strings = Arrays.asList("Hello", "World");
JavaRDD<String> s1 = sc.parallelize(strings);
JavaRDD<String> s2 = sc.parallelize(strings);
// Varargs
JavaRDD<String> sUnion = sc.union(s1, s2);
System.out.println("Union *******"+sUnion.collect());
} }