問題タブ [scala-streams]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - Spark ストリーミング チェックポイント
Spark Kafka ダイレクト ストリーミングを使用して Kafka からメッセージを読み込んでいます。メッセージ損失ゼロを実装したいのですが、スパークを再起動した後、欠落したメッセージを Kafka から読み取る必要があります。チェックポイントを使用してすべての読み取りオフセットを保存しているため、次回スパークは保存されたオフセットから読み取りを開始します。これが私の理解です。
以下のコードを使用しました。スパークを停止し、いくつかのメッセージを Kafka にプッシュしました。Kafka からの見逃したメッセージを読み取っていないスパークを再起動した後。Spark は kafka から最新のメッセージを読み取ります。Kafka からの見逃したメッセージを読むには?
注: アプリケーション ログには、 auto.offset.resetがlatestではなくnoneと表示されます。なぜ ？
SBT
窓 : 7
scala - VM にデプロイされたスタンドアロン クラスターで Spark ストリーミングが機能しない
Scala を使用して Spark スタンドアロン クラスターで実行する Kafka ストリーム プログラムを作成しました。コードは私のローカルで正常に動作します。Azure VM で Kafka 、Cassandra、および Spark のセットアップを行いました。ポートのブロックを回避するために、すべての受信ポートと送信ポートを開きました。
マスター始めました
sbin>./start-master.sh
開始スレーブ
sbin# ./start-slave.sh spark://vm-hostname:7077
マスター WEB UI でこのステータスを確認しました。
ジョブを送信
bin#./spark-submit --class xyStreamJob --master spark://vm-hostname:7077 /home/user/appl.jar
アプリケーションが追加され、Master WEB UI に表示されていることに気付きました。
トピックにいくつかのメッセージを発行しましたが、メッセージが受信されず、Cassandra DB に保持されます。
マスター Web コンソールでアプリケーション名をクリックすると、そのアプリケーション コンソール ページで [ストリーミング] タブが利用できないことに気付きました。
アプリケーションが VM で動作せず、ローカルで正常に動作するのはなぜですか?
VM で問題をデバッグする方法は?
バージョン
scala - scala fs2 ファイル ストリーミングを使用して、フィルター処理された行をファイルから削除します。
fs2filteredを使用して現在のストリーミング ファイルから行を削除し、フィルター処理された行の数を戻り値の型として取得する方法は?
例:old.txtに改行 (\n) で区切られた文字列が含まれている場合:
とval myList = List("chen","yval")。