1

私はスパークの素朴なユーザーです。spark をインストールし、anaconda install pyspark を使用して、以下に示す jupyter ノートブックで基本的なコードを実行します。その後、spark WebUI を開きますが、実行中または完了したジョブが表示されません。コメントをお待ちしております。

from pyspark.sql import SparkSession
spark = SparkSession.builder\
    .master("local")\
    .appName("NQlabtop")\
    .config('spark.ui.port', '4050')\
    .getOrCreate()
sc = spark.sparkContext
input_file=sc.textFile("C:/Users/nqazi/NQ/anscombe.json")
map = input_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1))
counts = map.reduceByKey(lambda a, b: a + b)
print("counts",counts)
sc = spark.sparkContext
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)

以下の Spark WebUI の画像をご覧ください。完了したジョブが表示されるはずなので、ジョブが表示されない理由がわかりません。

ここに画像の説明を入力

4

1 に答える 1