私は spark に慣れていません。グラフフレームを作成して、これが私のコードであるというクエリを実行しようとしました
import pyspark
from pyspark.sql import SQLContext
from graphframe import *
sc = pyspark.SparkContext()
sqlContext = SQLContext(sc)
vertices = sqlContext.createDataFrame([
("1","Alex", 28, "M","MIPT"),
("2","Emeli", 28, "F","MIPT"),
("7","Ilya", 29, "M","MSU")], ["id","name","age","gender","university"])
edges = sqlContext.createDataFrame([
("1","2","friend")
], ["src", "dst" , "type"])
g=GraphFrame(vertices,edges)
result = g.connectedComponents()
しかし、結果として次のエラーが表示されます。
トレースバック (最後の最後の呼び出し): ファイル ""、1 行目、ファイル "C:\Users\ALI_PC\AppData\Local\Temp\spark-73d7bc01-3873-4423-ac2b-527e39608ece\userFiles-b2dd0ea9-9556-4bea 内-9931-915608bad9b0\graphframes_graphframes-0.5.0-spark2.1-s_2.11.jar\graphframes\graphframe.py"、279 行目、connectedComponents ファイル "C:\Spark\spark-2.2.1-bin-hadoop2. 7\python\lib\py4j-0.10.4-src.zip\py4j\java_gateway.py"、1133 行目、呼び出し中 ファイル "C:\Spark\spark-2.2.1-bin-hadoop2.7\python\pyspark\sql\utils.py"、63 行目、deco return f(*a, **kw) ファイル "C:\ get_return_value py4j.protocol.Py4JJavaError: An error occurred while o249.run を呼び出します。: java.io.IOException: チェックポイント ディレクトリが設定されていません。最初に sc.setCheckpointDir() を使用して設定してください。org.graphframes.lib.ConnectedComponents$$anonfun$2.apply(ConnectedComponents.scala:280) で org.graphframes.lib.ConnectedComponents$$anonfun$2.apply(ConnectedComponents.scala:280) で scala.Option.getOrElse(Option .scala:121) at org.graphframes.lib.ConnectedComponents$.org$graphframes$lib$ConnectedComponents$$run(ConnectedComponents.scala:279) at org.graphframes.
どうすればこの問題を解決できますか、ありがとう!