問題タブ [spark-streaming]

以下は、30 秒のウィンドウ サイズと 10 秒のスライド サイズで単語数を取得する簡単なコードです。

ただし、次の行からエラーが発生します。

. 特に、から_ + _。エラーは

誰が問題が何であるか教えてもらえますか? ありがとう！

一定時間ごとにファイルを S3 バケットにエクスポートするアプリがあります。このバケットからストリーミングし、30 秒ごとに新しいファイルの行を配信する Spark Streaming アプリを開発する必要があります。

資格情報について理解するのに役立つこの投稿を読みましたが、それでも私のニーズには対応していません。

Q1. これを行う方法について、誰かがコードやヒントを提供できますか? Twitter の例を見たことがありますが、それを自分のシナリオに適用する方法がわかりませんでした。

Q2. Spark Streaming は、次のファイルを取得する前に最後にストリーミングされたファイルをどのように認識しますか? これは、ファイルの LastModified ヘッダーまたはある種のタイムスタンプに基づいていますか?

Q3. クラスターがダウンした場合、停止した場所からストリーミングを開始するにはどうすればよいですか?

前もって感謝します！！

Spark Streaming アプリケーションを書きたかったのです。Java ライブラリを使用してパケットをキャプチャする scala コードを作成しました。ここで、これらのパケットをスパーク ストリーミング レシーバー プログラム (0.9) に渡したいと思いました。新しい Spark レシーバー コードを作成する必要がありますか?それとも、パケットをキャプチャするために既に作成された scala コードでレシーバーを作成することは可能ですか? どうすればそれができますか？誰でも私を助けてください。

Spark でストリーミング データに対して SQL クエリを実行しようとしています。これは非常に簡単に見えますが、試してみると、エラーtable not found : tablename >が表示されます。登録したテーブルが見つかりません。

バッチ データで Spark SQL を使用すると問題なく動作するので、streamingcontext.start() の呼び出し方法に関係していると考えています。問題は何ですか？コードは次のとおりです。

どんな提案でも大歓迎です。ありがとう。

Flume Avro シンクと、シンクを読み取る SparkStreaming プログラムがあります。CDH 5.1、Flume 1.5.0、Spark 1.0、Spark のプログラム言語として Scala を使用

Spark の例を作成し、Flume Avro イベントをカウントすることができました。

ただし、Flume Avro イベントを文字列\テキストにシリアル化し、構造行を解析することはできませんでした。

Scalaを使用してこれを行う方法の例はありますか?

これは、Spark Streaming で単純な SQL クエリを実行するためのコードです。

ご覧のとおり、ストリーミングで SQL を実行するには、foreachRDD メソッド内でクエリを作成する必要があります。2 つの異なるストリームから受信したデータに対して SQL 結合を実行したいと考えています。できる方法はありますか？

Spark ストリーミング アプリケーションは、Kafka からデータをフェッチし、それらを処理します。

アプリケーションに障害が発生した場合、大量のデータが Kafka に保存され、Spark Streaming アプリケーションの次の起動時に、一度に大量のデータが消費されてクラッシュします。私のアプリケーションは過去のデータを気にしないので、現在 (最新) のデータのみを使用してもまったく問題ありません。

「auto.reset.offest」オプションを見つけましたが、Spark では動作が少し異なります。設定されている場合、Zookeeper に保存されているオフセットを削除します。ただし、予期しない動作にもかかわらず、削除後に最新のものからデータを取得することになっています。

しかし、そうではないことがわかりました。データを消費する前に、すべてのオフセットがクリーンアップされるのを見ました。次に、デフォルトの動作により、期待どおりにデータを取得する必要があります。しかし、データが多すぎるためにクラッシュします。

オフセットをクリーンアップし、「Kafka-Console-Consumer」を使用して最新のデータを消費し、アプリケーションを実行すると、期待どおりに動作します。

そのため、「auto.reset.offset」が機能しないように見え、スパーク ストリーミングの kafka コンシューマーは、デフォルトで「最小」オフセットからデータを取得します。

最新の Spark ストリーミングから Kafka データを使用する方法について何か考えはありますか?

spark-1.0.0 と Kafka-2.10-0.8.1 を使用しています。

前もって感謝します。

http://ampcamp.berkeley.edu/big-data-mini-course/realtime-processing-with-spark-streaming.htmlまたはhttp://www.pwendell.com/2013/09/を実装しようとしています。 28/declarative-streams.html (ただし、これは古いバージョンの Spark を使用しています) ですが、結局次のようになります。

スレッド「メイン」の例外 java.lang.NoClassDefFoundError: org/apache/spark/streaming/dstream/NetworkInputDStream

問題を引き起こすコードの例を次に示します。

また、Scala と Eclipse を使用しています。

ありがとう！（役立つ場合は、エラーまたは出力の詳細を印刷できます）

次のような Spark ストリーミング設定があるとします。

たとえば、 JavaRandomReceiver と JavaSyncBarrier が同じノードに配布されるようにする方法はありますか? それとも、これは理にかなった質問ですか?

スパークストリーミングがクラスター全体でどのように機能するかについての情報も大歓迎です。