1

Spark Streaming は初めてです。PyCharm で PySpark を使用すると、socketTextStream の初期化を渡すことができません。

def start_streaming (self):
    sp = SparkContext('local[2]', 'streamingTest')
    stream = StreamingContext(sp, 1)
    **items = stream.socketTextStream('localhost', '9009')**
    print(items)
    lines = items.flatMap(lambda line : line.split('\n'))

次のエラーが表示されます。問題が何であるかについてのアイデアはありますか？

トレースバック (最後の最後の呼び出し): ファイル "/Users/egorkorneev/PycharmProjects/BasicStreaming/SparkConsumer.py"、75 行目、dc.start_streaming() ファイル "/Users/egorkorneev/PycharmProjects/BasicStreaming/SparkConsumer.py"、行40, start_streaming の項目 = stream.socketTextStream('localhost', '9009') ファイル "/Users/egorkorneev/rnd/spark-1.6.1-bin-hadoop2.6/python/pyspark/streaming/context.py",行 352、socketTextStream return DStream(self._jssc.socketTextStream(hostname, port, jlevel), self, File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/py4j/ java_gateway.py"、933 行目、呼び出し中answer, self.gateway_client, self.target_id, self.name) ファイル "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/py4j/protocol.py"、316 行目get_return_value format(target_id, ".", name, value)) py4j.protocol.Py4JError: o19.socketTextStream の呼び出し中にエラーが発生しました。トレース: py4j.Py4JException: メソッド socketTextStream([class java.lang.String, class java.lang.String, class org.apache.spark.storage.StorageLevel]) は py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine. java:335) で py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344) で py4j.Gateway.invoke(Gateway.java:252) で py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) で py4j. commands.CallCommand.execute(CallCommand.java:79) を py4j.GatewayConnection で実行します。

スパーク 1.6.1

4

1 に答える 1

1

ポート番号は整数値である必要があります。

アイテム = stream.socketTextStream('localhost', 9009)

于 2016-11-10T22:47:46.410 に答える