apache-spark - sparkR でのストリーミング?

Question

しばらくの間、Scala で Spark を使用しています。現在、pySpark と SparkR を調べています。PySpark と SparkR について言及されているストリーミングは見当たりません。Python と R を使用しているときに Spark ストリーミングを実行できるかどうか知っている人はいますか?

Answer 1

Spark は 1.3 で pySpark ストリーミングをサポートするようになりました。また、SparkR ストリーミングの実装はhttps://github.com/hlin09/spark/tree/SparkR-streamingにあります。

Answer 2

現在 (Spark 1.1 の時点)、Spark ストリーミングは Scala と Java でのみサポートされています。使用したい特定の R プログラムまたは Python プログラムがある場合は、RDD のパイプ インターフェイスと DStream の変換関数を確認できます。これは少し厄介ですが、現在 Spark Streaming で Python または R コードを使用する最も簡単な方法です。