問題タブ [spark-streaming-kafka]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

227 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
0 に答える
50 参照

apache-spark - 2 つの異なるプリンシパルを使用した Kafka との Spark 相互作用

次の質問があります。あるトピックから読み取り、同じ kerberized Kafka クラスターの別のトピックに書き込む Spark 構造化ストリーミング ジョブを使用しています。すべてがうまく機能します。

しかし、私の問題は次のとおりです。これら 2 つのトピックのそれぞれに異なるプリンシパルとキータブがある場合、どのように処理すればよいでしょうか。

  • 2 つの JAAS ファイル (プリンシパル/キータブごとに 1 つ) を Spark に送信する必要がありますか? はいの場合、これはどのように達成できますか?
  • 両方の「KafkaClient」宣言を 1 つの JAAS ファイルに入れることはできますか?

どうもありがとうございました。


12345678910