jdbc - Sparkでは、CREATE TABLEコマンドは外部テーブルを作成しますか?

Question

GitHub の次のスレッド ( https://github.com/databricks/spark-csv/issues/45 ) に基づいて、CREATE TABLE + オプション (JDBC など) が Hive 外部テーブルを作成することを理解しています。これらの種類のテーブルはそれ自体では具体化されないため、テーブルが SQL 経由で削除されたり、Databricks テーブル UI から削除されたりしても、データは失われません。

Answer 1

Spark でテーブルを作成することは非常にうまくできますが、代わりに以下EXTERNALを使用することに注意する必要があります。HiveContextSqlContext

scala> import org.apache.spark.sql.hive._
import org.apache.spark.sql.hive._

scala> val hc = new HiveContext(sc)
hc: org.apache.spark.sql.hive.HiveContext = org.apache.spark.sql.hive.HiveContext@385ff04e

scala> hc.sql("create external table blah ( name string ) location 'hdfs:///tmp/blah'")
res0: org.apache.spark.sql.DataFrame = [result: string]