1

Spark マスターとワーカーを開始し、HDFS で wordcount のような MapReduce を簡単に実行できます。

テキストストリームでストリーミングを実行したいのですが、新しい StreamingContext を作成しようとすると、次のエラーが発生します。

scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2))
13/07/17 11:13:45 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started
org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.2.105:48594
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298)
....

ポートを確認したところ、Java で使用されていました。プロセスを強制終了し、Spark-shell から抜け出しました。

StreamingContext のポートをランダムな空きポートに変更する方法はありますか?

4

1 に答える 1

1

Java は、spark の基盤となるプロセスです (scala は jvm で実行されます)。spark /spark ストリーミングの複数のコピーが実行されている可能性があります。それを調べてもらえますか？

具体的には、spark-shell が既に実行されている場合、同じ結果が得られます。

他の Spark プロセスを確認できます。

ps -ef | grep spark | -v grep
于 2014-02-12T17:10:04.817 に答える