問題タブ [custom-receiver]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
52 問題
0
投票する
0
に答える
27
参照
scala - カスタムレシーバーを使用してリアルタイムソースからメッセージを DStream ではなく RDD として受信するにはどうすればよいですか?
リアルタイム メッセージ ソース (現在はソケット) から RDD を取得して、ローカル ファイルからの読み取りに使用されるコード行を置き換えたいと考えていますsc.newAPIHadoopFile()。プロジェクトの構造を維持するために、そのソースから DStream ではなく RDD を取得する必要があります。カスタム レシーバーを実装しようとしましたがStreamingContext.receiverStream()、DStream しか得られません。どのようにできるのか？
を使用して DStream を RDD に変換しようとしましたcomputeが、意味がなく、失敗しました。そこで、受信機で RDD を直接受信する方法を発見することにしました。