私はスパークの素朴なユーザーです。spark をインストールし、anaconda install pyspark を使用して、以下に示す jupyter ノートブックで基本的なコードを実行します。その後、spark WebUI を開きますが、実行中または完了したジョブが表示されません。コメントをお待ちしております。
from pyspark.sql import SparkSession
spark = SparkSession.builder\
.master("local")\
.appName("NQlabtop")\
.config('spark.ui.port', '4050')\
.getOrCreate()
sc = spark.sparkContext
input_file=sc.textFile("C:/Users/nqazi/NQ/anscombe.json")
map = input_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1))
counts = map.reduceByKey(lambda a, b: a + b)
print("counts",counts)
sc = spark.sparkContext
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
以下の Spark WebUI の画像をご覧ください。完了したジョブが表示されるはずなので、ジョブが表示されない理由がわかりません。