Pythonでプログラムされたプロジェクトにkafkaとsparkストリーミングを使用しています。kafka プロデューサーからストリーミング プログラムにデータを送信したいと考えています。依存関係を指定して次のコマンドを実行すると、スムーズに動作します。
./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 ./kafkastreaming.py
依存関係を指定してストリーミング コードを直接実行する方法はありますか (つまり、spark-submit を使用せずに、または spark-submit を使用して依存関係を指定せずに)。
sparkのconfディレクトリにあるspark-defaults.confで依存関係を指定してみました。指定された依存関係は、1.org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 2.org.apache.spark:spark-streaming-kafka-0-8-assembly:2.1. 1
注 - https://spark.apache.org/docs/latest/streaming-programming-guide.htmlから netcat を使用して Spark ストリーミング ガイドを参照しました が、spark-submit コマンドを使用せずに機能したため、できるかどうか知りたいです。カフカとスパークストリーミングと同じです。