0

pyspark データフレーム (2.0.0) で SQL ビューを定義しようとしていますが、「テーブルまたはビューが見つかりません」などのエラーが発生します。私がやっていること： 1.空のデータフレームを作成します 2.別の場所から一時データフレームにデータをロードします 3.一時データフレームをメインデータフレーム（空のもの）に追加します 4.データフレームにSQLビューを定義します（これは以前は空です）。

spark = SparkSession.builder.config(conf=SparkConf()).appName("mydailyjob").getOrCreate()
sc = spark.sparkContext

schema = StructType([StructField('vdna_id', StringType(), True),
StructField('miq_id', LongType(), True),
StructField('tags', IntegerType(), True),
StructField('dateserial', DateType(), True),
StructField('date_time', TimestampType(), True),
StructField('survey_id', StringType(), True),
StructField('ip', StringType(), True)])
brandsurvey_feed = sqlContext.createDataFrame(sc.emptyRDD(), schema)

# load brandsurvey feed data for each date in date_list
for loc in all_loc:
    # load file from different location
    bs_tmp = spark.read.csv(loc, schema=schema, sep='\t', header=True)
    brandsurvey_feed = brandsurvey_feed.union(bs_tmp)

brandsurvey_feed.createOrReplaceTempView("brandsurvey_feed")
print(spark.sql("select * from brandsurvey_feed").show())
4

1 に答える 1

0

皆さん、私はその理由を見つけたと思います。ゼロ レコードのデータフレームで SQL ビューを作成し、テーブルにアクセスすると、「テーブルまたはビューが存在しません」というエラーが表示されます。データフレームにSQLビューを定義する前に、空でないことを確認することをお勧めします

于 2016-12-22T06:05:51.723 に答える